Marquez ist ein Open-Source-Metadatenserver, der Lineage-Metadaten über OpenLineage sammelt, speichert und visualisiert. Er ist die Referenzimplementierung von OpenLineage. Data-Platform-Teams senden Metadaten laufender Jobs an den OpenLineage-kompatiblen Endpunkt und sehen in der Weboberfläche einen Graphen der Abhängigkeiten zwischen Datensätzen und Jobs, mit Ausführungsdetails und Leistungskennzahlen. Die Lineage-API unterstützt unter anderem Backfills und Ursachenanalysen. Integrationen gibt es für Apache Airflow, Spark, Flink, dbt und Dagster. Sie betreiben Marquez selbst, mit Docker, mit dem mitgelieferten Helm-Chart auf Kubernetes oder aus dem Quellcode (Java 17 und PostgreSQL 14).
WeWork hat Marquez als Open Source veröffentlicht; heute ist es ein Graduated-Projekt der LF AI & Data Foundation, Teil der Linux Foundation, einer gemeinnützigen Organisation mit Sitz in den USA. Der Code steht unter der Apache-2.0-Lizenz. Da Sie es selbst hosten, bleiben Metadaten und Lineage in Ihrer eigenen Umgebung. Die API hat standardmäßig keine Authentifizierung oder Autorisierung; diese müssen Sie selbst einrichten.