Projektgruppe Apache Hadoop

737 Pages·2016·18.41 MB·German

Projektgruppe Apache Hadoop
BAND 1
Projektdokumentation

Projektgruppe Apache Hadoop
Projektdokumentation
Themenersteller: Prof.Dr.-Ing.habil.JorgeMarxGómez
Betreuer: M.Eng.&Tech.ViktorDmitriyev
Dr.-Ing.AndreasSolsbach
Abgabetermin: 30.September2016

Danksagung
Die Mitglieder der Projektgruppe bedanken sich bei der Abteilung VLBA der Carl-
von-Ossietzky-Universität Oldenburg und insbesondere bei ihren Betreuern Prof.
Dr.-Ing.habil.JorgeMarxGómez,Dr.-Ing.AndreasSolsbachundM.Eng.&Tech.Viktor
DmitriyevfürdieErmöglichungdiesesProjektesunddieumfangreicheUnterstützungin
allenBereichenwährenddergesamtenProjektlaufzeit.
Zudem gilt unser Dank der Firma CEWE Stiftung & Co. KGaA. Insbesondere danken
wir Dipl.-Ing. Eugen Neigel, M.Sc. Fatih-Mehmet Inel, M.Sc. Wiebke Osmers, Sancho
Dauskardt,Dipl.-Ök.OliverBehrend,BBAMatthiasKerskenundDipl.-Inf.PeterSchütz
für die enge Zusammenarbeit und die zur Verfügung gestellten Ressourcen. Das hohe
Interesse an den Vorgehensweisen und Ergebnissen unserer Projektgruppe und das uns
geschenkteVertrauenschätzenwirsehr.
ProjektgruppeDASH,30.September2016

Inhaltsverzeichnis
Abkürzungen I
Abbildungen V
Tabellen VII
1. Einleitung 1
1.1. MotivationundZielsetzung . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2. Unternehmensportrait:CEWEStiftung&Co.KGaA . . . . . . . . . . 2
1.3. AufbauderProjektdokumentation . . . . . . . . . . . . . . . . . . . . 3
2. IST-SituationdesUnternehmenspartners 5
2.1. Datenentstehung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.2. Datenanalyse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.3. Dateninhalt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
3. Soll-Zustand 9
3.1. Gesamtarchitektur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
3.2. Workflow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
4. Projektmanagement 13
4.1. MitgliederderProjektgruppe . . . . . . . . . . . . . . . . . . . . . . . 13
4.2. Projekt-Stakeholder . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
4.3. ProjektphasenundMeilensteine . . . . . . . . . . . . . . . . . . . . . 15
4.4. Projektvorgehen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
4.4.1. SCRUM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
4.4.2. KommunikationswegeundRahmenbedingungenimProjekt. 18
4.4.3. Software-Werkzeuge . . . . . . . . . . . . . . . . . . . . . . . . 19
4.4.4. LessonslearnedProjektmanagement . . . . . . . . . . . . . . . 20
5. EvaluationverfügbarerSoftware 21
5.1. DataImport . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
5.1.1. Anforderungen . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
5.1.2. ApacheSqoop . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
5.1.3. ApacheStorm . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
5.1.4. ApacheFlume . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
5.1.5. Logstash . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
5.1.6. ApacheKafka . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
5.1.7. Bash(LinuxShell) . . . . . . . . . . . . . . . . . . . . . . . . . 45
5.1.8. Gobblin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
5.1.9. Fluentd . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
5.1.10. Ergebnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
5.2. DataTransformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
5.2.1. Anforderungen . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
5.2.2. ApacheHive . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
5.2.3. ApachePig . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
5.2.4. ApacheSpark . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
5.2.5. HadoopStreaming . . . . . . . . . . . . . . . . . . . . . . . . . 65
5.2.6. Ergebnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
5.3. DataAnalytics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
5.3.1. Anforderungen . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
5.3.2. ApacheHive . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
5.3.3. ApacheSparkMLlib . . . . . . . . . . . . . . . . . . . . . . . . 70
5.3.4. Ergebnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
5.4. DataVisualization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
5.4.1. Anforderungen . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
5.4.2. ApacheZeppelin . . . . . . . . . . . . . . . . . . . . . . . . . . 72
5.4.3. Ergebnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
5.5. Workflowmanagement . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
5.5.1. Anforderungen . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
5.5.2. Airflow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
5.5.3. Azkaban . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
5.5.4. Ergebnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
6. PraktischeDurchführung 79
6.1. InstallationAlpha-Version . . . . . . . . . . . . . . . . . . . . . . . . . 79
6.1.1. VorbereitungenzurInstallationvonHadoop . . . . . . . . . . 81
6.1.2. InstallationvonHadoop . . . . . . . . . . . . . . . . . . . . . . 84
6.1.3. KonfigurationAmbari . . . . . . . . . . . . . . . . . . . . . . . 89
6.1.4. InstallationZeppelinNotebook . . . . . . . . . . . . . . . . . . 91
6.1.5. InstallationAirflow . . . . . . . . . . . . . . . . . . . . . . . . . 94
6.1.6. InstallationSqoop . . . . . . . . . . . . . . . . . . . . . . . . . 95
6.2. InstallationSonstigerKomponenten . . . . . . . . . . . . . . . . . . . 97
6.2.1. InstallationFTP-Server . . . . . . . . . . . . . . . . . . . . . . . 97
6.2.2. InstallationGit . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
6.2.3. InstallationGitLab . . . . . . . . . . . . . . . . . . . . . . . . . 100
6.2.4. InstallationMySQL-Server . . . . . . . . . . . . . . . . . . . . 102
6.2.5. Sphinx . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
6.3. InstallationBeta-Version . . . . . . . . . . . . . . . . . . . . . . . . . . 104
6.3.1. InstallationDocker . . . . . . . . . . . . . . . . . . . . . . . . . 104
6.3.2. InstallationMaven3.X . . . . . . . . . . . . . . . . . . . . . . . 107
6.3.3. InstallationZeppelininnerhalbeinesDocker-Containers . . . 108
6.3.4. InstallationAirflowinnerhalbeinesDocker-Containers . . . . 109
6.3.5. AusrollendereinzelnenGitLab-Repositorys . . . . . . . . . . 111
6.4. DataImport . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
6.4.1. ImportrelationalerDaten . . . . . . . . . . . . . . . . . . . . . 112
6.4.2. ImportvonXML-Dateien:AXT . . . . . . . . . . . . . . . . . . 114
6.5. DataTransformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
6.5.1. DatenbanklayerinHive . . . . . . . . . . . . . . . . . . . . . . 127
6.5.2. XMLParserArchitektur . . . . . . . . . . . . . . . . . . . . . . 130
6.5.3. MinidomParser-Modul . . . . . . . . . . . . . . . . . . . . . . 131
6.5.4. Benchmark:PythonXML-ParsingFrameworks . . . . . . . . . 136
6.5.5. ParseninrelationalesDatenformat:SaPPy . . . . . . . . . . . 138
6.5.6. HadoopStreamingPraktischeUmsetzung . . . . . . . . . . . 145
6.5.7. Spark . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
6.5.8. Hive-Datenimport:HIMP . . . . . . . . . . . . . . . . . . . . . 163
6.6. DataAnalytics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
6.6.1. Kennzahlensteckbriefe . . . . . . . . . . . . . . . . . . . . . . . 169
6.6.2. AnalyseverfahrenmitHive . . . . . . . . . . . . . . . . . . . . 171
6.6.3. AnalyseverfahrenmitSpark(DataMining) . . . . . . . . . . . 172
6.7. DataVisualization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174
6.7.1. Zeppelin-Erweiterung:vis–à–vis . . . . . . . . . . . . . . . . . 174
6.8. Workflowmanagement . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
7. HadoopEcosystemderProjektgruppe 187
7.1. ArchitekturHadoopEcosystemderProjektgruppe . . . . . . . . . . . 187
7.2. ELTFlow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
7.2.1. Standardworkflow . . . . . . . . . . . . . . . . . . . . . . . . . 188
7.2.2. RepeatWorkflow . . . . . . . . . . . . . . . . . . . . . . . . . . 190
8. Test&Evaluation 193
8.1. Anforderungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194
8.2. Durchführung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195
8.2.1. AXT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195
8.2.2. XML-Parser . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
8.2.3. HIMP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210
8.2.4. Integrationstest . . . . . . . . . . . . . . . . . . . . . . . . . . . 214
8.3. FazitundEvaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
9. Fazit 225
10.VerwendeteSoftwareundBibliotheken 227
Index 231
Literatur 233
A. Anhang 241
A.1. Dateninhalt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241
A.2. DatenbankschemainHive . . . . . . . . . . . . . . . . . . . . . . . . . 251
A.3. BenchmarkderXML-BibliothekeninPython . . . . . . . . . . . . . . 252
A.4. Blog . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269
A.5. Forschen@Studium . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289
B. Seminararbeiten 291
B.1. KDD-Prozess . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293
B.3. DataMiningMethoden . . . . . . . . . . . . . . . . . . . . . . . . . . . 333
B.3. WasistBusinessIntelligence? . . . . . . . . . . . . . . . . . . . . . . . 367
B.4. ApacheHive . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405
B.5. MapReduce&ApachePig . . . . . . . . . . . . . . . . . . . . . . . . . 441
B.6. KomponentendesApacheHadoopEcosystem . . . . . . . . . . . . . 475
B.7. OpenSourceAlternativenzuApacheHadoop . . . . . . . . . . . . . 509
B.8. AnalytischeKapazitätendesApacheHadoopEcosystem . . . . . . . 541
B.9. ApacheSparkalsTeildesApacheHadoopEcosystems . . . . . . . . 581
B.10.VisualisierungsmöglichkeitenmittelsdesApacheHadoopEcosystem615
B.11.Klassischevs.agileSoftwareentwicklung . . . . . . . . . . . . . . . . 651
B.12.DesignThinking/DesignScience . . . . . . . . . . . . . . . . . . . . 687