Untersuchung der Migration einer MySQL basierten Monitoring & Data-Warehouse Lösung nach Hadoop

Masterarbeit aus dem Jahr 2012 im Fachbereich Informatik - Angewandte Informatik, Note: 1.0, Hochschule für Technik und Wirtschaft Berlin, Sprache: Deutsch, Abstract: Die escape GmbH betreibt ein MySQL basiertes Dataware-House in das Daten aus

verschiedenen Webpräsenzen fließen, um dort ausgewertet zu werden. Nach Jahren des

erfolgreichen Betriebs nimmt mit der ständig steigenden Menge an gespeicherten Daten

die Leistung des Systems allerdings ab. Die Laufzeiten für Auswertungen steigen und

die Agilität sinkt. Kleine Optimierungen und Veränderungen des Systems können das

Unbrauchbarwerden hinauszögern, als aber aus Gründen der Leistung auf einen Teil

der Abfragen verzichtet werden muss, wird schließlich klar, dass nur eine grundlegende

Veränderung des Systems den langfristigen Betrieb sicherstellen kann. Aus diesem Grund

wurde nach Technologien gesucht, deren Fähigkeiten die Leistung des bestehenden

Dataware-Houses verbessern können. Dies führte zu Hadoop [Fouc][Whi10a], einem Open

Source Framework, welches die Verarbeitung von riesigen Datenmengen in einem Cluster

erlaubt.

Diese Arbeit untersucht, wie Komponenten des bisherigen Systems durch Dienste von

Hadoop ersetzt werden können. Sie wertet die Möglichkeiten zur Strukturierung von

Daten in einer spaltenbasierten Datenbank aus, evaluiert in einem Benchmark, wie sich

die Zeit von Abfragen im Verhältnis zu einer stetig steigenden Datenmenge verhält und

analysiert detailliert den Ressourcenverbrauch des Clusters und dessen Knoten.

Die Implementierung zeigt, dass sich die spaltenbasierten Datenbank HBase sehr gut

zum Speichern von einer sehr großen Menge an semistrukturierten Daten eignet und die

Dataware-House Komponente Hive durch die Unterstützung eines SQL ähnlichen Syntax

das Erstellen von Abfragen komfortabel ermöglicht. Die Literatur beschreibt, dass HBase

automatisch linear mit dem Hinzufügen von neuen Knoten skaliert. Der durchgeführte

Benchmark zeigt, dass die Ausführungs-Zeit der getesteten Abfragen fast genau linear zur

Datenmenge steigt, der Ressourcenverbrauch nur gering wächst und die Last im Cluster

gleichmäßig verteilt wird. Dies lässt die Schlussfolgerung zu, dass sich Hadoop gut zum

Betrieb einer Dataware-House Lösung eignet.