Apache Airflow est une plateforme pour concevoir, planifier et superviser des workflows par programmation. Les workflows sont définis en code Python, ce qui facilite leur maintenance, leur versionnage, leurs tests et leur partage. Le planificateur exécute les tâches sur des workers selon leurs dépendances, et une interface web affiche leur état et leurs journaux. Airflow sert aux pipelines de données, à l'ETL et à l'apprentissage automatique, par lots plutôt qu'en streaming. Vous l'installez et l'exploitez vous-même, via PyPI, des images de conteneurs ou Kubernetes avec Helm.
Airflow est un projet de l'Apache Software Foundation, organisation américaine à but non lucratif, sous licence Apache 2.0. Le développement est piloté par la communauté, sans entreprise qui contrôle le projet. Comme vous l'exploitez vous-même, votre infrastructure détermine où il s'exécute et où sont ses métadonnées. Hébergé sur des serveurs ou un cloud situés dans l'UE, cette couche d'orchestration reste dans l'UE. Le trajet des données dépend des services externes auxquels vos workflows se connectent.