Deequ ist eine auf Apache Spark aufbauende Open-Source-Bibliothek, mit der sich Unit-Tests für Daten definieren und die Datenqualität in großen Datensätzen messen lassen. Nutzer legen Prüfungen wie Vollständigkeit, Eindeutigkeit, Wertemengen und Quantilschwellen fest; Deequ berechnet Metriken mit Spark-Jobs und wertet die Zusicherungen darauf aus. Außerdem unterstützt es Data Profiling, Constraint-Vorschläge, inkrementelle Metriken, die Speicherung von Metriken und Anomalieerkennung für Qualitätsmetriken im Zeitverlauf. Die Bibliothek ist in Scala geschrieben, mit Java-Beispielen, und wird als Maven- oder sbt-Abhängigkeit in ein Spark-Projekt eingebunden; ein separates Projekt, PyDeequ, bietet eine Python-Schnittstelle.
Deequ steht unter der Apache License 2.0 in der GitHub-Organisation awslabs, die von Amazon Web Services, einem US-Unternehmen, betrieben wird. Es ist eine Bibliothek und kein gehosteter Dienst: Sie läuft in der von Ihnen betriebenen Spark-Umgebung, sodass der Ort der Datenverarbeitung von dieser Umgebung abhängt. Da der Code offen ist, kann eine europäische Organisation ihn prüfen, forken und auf Infrastruktur in der eigenen Rechtsordnung betreiben.