Apache Airflow ist eine Plattform, um Workflows programmatisch zu entwerfen, zu planen und zu überwachen. Workflows werden als Python-Code definiert, was Pflege, Versionierung, Tests und Weitergabe erleichtert. Der Scheduler führt Aufgaben auf mehreren Workern unter Beachtung von Abhängigkeiten aus, und eine Weboberfläche zeigt Status und Logs der Aufgaben. Airflow dient Datenpipelines, ETL und der Steuerung von Machine-Learning-Workflows und ist auf Batch-Verarbeitung statt Streaming ausgelegt. Sie installieren und betreiben es selbst, über PyPI, Container-Images oder Kubernetes mit Helm.
Airflow ist ein Projekt der Apache Software Foundation, einer US-amerikanischen Non-Profit-Organisation, und steht unter der Apache License 2.0. Die Entwicklung ist gemeinschaftsgetrieben; kein einzelnes Unternehmen kontrolliert das Projekt. Da Sie Airflow selbst betreiben, bestimmt Ihre eigene Infrastruktur, wo es läuft und wo seine Metadaten liegen. Läuft es auf Servern oder in einer Cloud in der EU, bleibt diese Orchestrierungsebene in der EU. Wohin Daten fließen, hängt von den externen Diensten ab, mit denen Ihre Workflows verbunden sind.