Datenanalyse: Umwandlung unstrukturierter Daten in strukturierte Daten

Datenextraktion und -analyse haben in letzter Zeit aufgrund der Entwicklung der sozialen Medien und der großen Menge an Daten, die in unstrukturierter Form verfügbar sind, erhebliche Aufmerksamkeit erhalten. Hadoop und Map-Reduce haben kontinuierlich große Datenmengen implementiert und analysiert. In diesem Buch wird Apache Pig, eine der High-Level-Plattformen zur Analyse großer Datenmengen, die auf Hadoop läuft, zur Analyse unstrukturierter Protokolldateien und zur Extraktion von Informationen verwendet. In diesem Buch werden Weblog-Serverdateien verwendet, um aussagekräftige Informationen in unstrukturierter Form zu analysieren und in strukturierter Form in das Apache Pig-Framework zu extrahieren. Wir werden die Effizienz und Leistung messen, wenn eine große Datenmenge im Map-Reduce-Modus und im lokalen Modus verarbeitet wird.