Marquez est un serveur de métadonnées open source qui collecte, stocke et visualise les métadonnées de lignage via OpenLineage ; c'est l'implémentation de référence d'OpenLineage. Les équipes de plateformes de données envoient les métadonnées des jobs en cours à son point d'accès compatible OpenLineage et consultent dans l'interface web un graphe des dépendances entre jeux de données et jobs, avec détails d'exécution et indicateurs de performance. Son API de lignage permet notamment les rattrapages et l'analyse des causes. Des intégrations existent avec Airflow, Spark, Flink, dbt et Dagster. Vous l'exploitez vous-même : Docker, chart Helm sur Kubernetes ou sources (Java 17, PostgreSQL 14).
WeWork a publié Marquez en open source ; c'est aujourd'hui un projet diplômé de la LF AI & Data Foundation, rattachée à la Linux Foundation, organisation à but non lucratif établie aux États-Unis. Le code est sous licence Apache 2.0. Hébergé par vos soins, il garde métadonnées et lignage dans votre environnement. Par défaut, l'API n'a ni authentification ni autorisation : c'est à vous de les mettre en place.