{"product_id":"untersuchung-der-migration-einer-mysql-basierten-monitoring-data-warehouse-losung-nach-hadoop-von-jonas-kress","title":"Untersuchung der Migration einer MySQL basierten Monitoring \u0026 Data-Warehouse Lösung nach Hadoop","description":"\u003cp\u003eMasterarbeit aus dem Jahr 2012 im Fachbereich Informatik - Angewandte Informatik, Note: 1.0, Hochschule für Technik und Wirtschaft Berlin, Sprache: Deutsch, Abstract: Die escape GmbH betreibt ein MySQL basiertes Dataware-House in das Daten aus\u003c\/p\u003e\u003cp\u003everschiedenen Webpräsenzen fließen, um dort ausgewertet zu werden. Nach Jahren des\u003c\/p\u003e\u003cp\u003eerfolgreichen Betriebs nimmt mit der ständig steigenden Menge an gespeicherten Daten\u003c\/p\u003e\u003cp\u003edie Leistung des Systems allerdings ab. Die Laufzeiten für Auswertungen steigen und\u003c\/p\u003e\u003cp\u003edie Agilität sinkt. Kleine Optimierungen und Veränderungen des Systems können das\u003c\/p\u003e\u003cp\u003eUnbrauchbarwerden hinauszögern, als aber aus Gründen der Leistung auf einen Teil\u003c\/p\u003e\u003cp\u003eder Abfragen verzichtet werden muss, wird schließlich klar, dass nur eine grundlegende\u003c\/p\u003e\u003cp\u003eVeränderung des Systems den langfristigen Betrieb sicherstellen kann. Aus diesem Grund\u003c\/p\u003e\u003cp\u003ewurde nach Technologien gesucht, deren Fähigkeiten die Leistung des bestehenden\u003c\/p\u003e\u003cp\u003eDataware-Houses verbessern können. Dies führte zu Hadoop [Fouc][Whi10a], einem Open\u003c\/p\u003e\u003cp\u003eSource Framework, welches die Verarbeitung von riesigen Datenmengen in einem Cluster\u003c\/p\u003e\u003cp\u003eerlaubt.\u003c\/p\u003e\u003cp\u003eDiese Arbeit untersucht, wie Komponenten des bisherigen Systems durch Dienste von\u003c\/p\u003e\u003cp\u003eHadoop ersetzt werden können. Sie wertet die Möglichkeiten zur Strukturierung von\u003c\/p\u003e\u003cp\u003eDaten in einer spaltenbasierten Datenbank aus, evaluiert in einem Benchmark, wie sich\u003c\/p\u003e\u003cp\u003edie Zeit von Abfragen im Verhältnis zu einer stetig steigenden Datenmenge verhält und\u003c\/p\u003e\u003cp\u003eanalysiert detailliert den Ressourcenverbrauch des Clusters und dessen Knoten.\u003c\/p\u003e\u003cp\u003eDie Implementierung zeigt, dass sich die spaltenbasierten Datenbank HBase sehr gut\u003c\/p\u003e\u003cp\u003ezum Speichern von einer sehr großen Menge an semistrukturierten Daten eignet und die\u003c\/p\u003e\u003cp\u003eDataware-House Komponente Hive durch die Unterstützung eines SQL ähnlichen Syntax\u003c\/p\u003e\u003cp\u003edas Erstellen von Abfragen komfortabel ermöglicht. Die Literatur beschreibt, dass HBase\u003c\/p\u003e\u003cp\u003eautomatisch linear mit dem Hinzufügen von neuen Knoten skaliert. Der durchgeführte\u003c\/p\u003e\u003cp\u003eBenchmark zeigt, dass die Ausführungs-Zeit der getesteten Abfragen fast genau linear zur\u003c\/p\u003e\u003cp\u003eDatenmenge steigt, der Ressourcenverbrauch nur gering wächst und die Last im Cluster\u003c\/p\u003e\u003cp\u003egleichmäßig verteilt wird. Dies lässt die Schlussfolgerung zu, dass sich Hadoop gut zum\u003c\/p\u003e\u003cp\u003eBetrieb einer Dataware-House Lösung eignet.\u003c\/p\u003e\u003cdiv class=\"aw-variant-hidden-subtitle-div\" id=\"aw-variant-subtitle-9783656440475\"\u003e\u003ch3\u003e\u003c\/h3\u003e\u003c\/div\u003e","brand":"Libri","offers":[{"title":"Softcover - 9783656440475","offer_id":39427379626077,"sku":"9783656440475","price":44.99,"currency_code":"EUR","in_stock":true}],"thumbnail_url":"\/\/cdn.shopify.com\/s\/files\/1\/0940\/0622\/files\/65e16082-86d1-4390-8033-31bf8d2f14c9.jpg?v=1781674222","url":"https:\/\/shop.autorenwelt.de\/products\/untersuchung-der-migration-einer-mysql-basierten-monitoring-data-warehouse-losung-nach-hadoop-von-jonas-kress","provider":"Autorenwelt Shop","version":"1.0","type":"link"}