Apache Airflow. Einführung, Komponenten und Einsatz in der Praxis

Studienarbeit aus dem Jahr 2022 im Fachbereich Informatik - Programmierung, Note: 1,4, Hochschule Reutlingen, Sprache: Deutsch, Abstract: In vielen modernen IT-Systemen und Anwendungen gibt es festgelegte und wiederholte Tasks, die häufig auch in einer gleichbleibenden Reihenfolge oder mit verschiedenen Abhängigkeiten zwischen den Tasks durchgeführt werden. Dabei kann es ggf. zu Problemen in der Datenkonsistenz oder Bearbeitungszeit kommen, wenn diese Tasks und Rechenschritte nicht organisiert und strukturiert werden. Insofern ist die Betrachtung von Softwaretools zur Ausgestaltung und zum Management von festgelegten (Arbeits-) Prozessen, den sogenannten Workflows sinnvoll, die den Ablauf der Prozesse verbessern, Fehler bei der Datenverarbeitung minimieren und die Datenkonsistenz erhöhen.

Ein solches Workflowmanagement-Tool ist Apache Airflow. Apache Airflow wurde von Airbnb entwickelt, um die Prozesse des Unternehmens automatisieren und ein besseres Planen und Monitoren ermöglichen zu können. 2016 wurde Airflow Teil von Apache und damit als Open-Source Tool Nutzern kostenfrei zur Verfügung gestellt. Apache Airflow ermöglicht es, Workflows zu modellieren, auszuführen, pflegen und zu überwachen.