Deequ est une bibliothèque open source, construite sur Apache Spark, pour définir des tests unitaires de données et mesurer leur qualité sur de grands jeux de données. Les utilisateurs déclarent des contrôles (complétude, unicité, ensembles de valeurs, seuils de quantiles) ; Deequ calcule des métriques avec des jobs Spark et évalue les assertions. Elle gère aussi le profilage, la suggestion de contraintes, les métriques incrémentales, leur persistance et la détection d'anomalies dans le temps. Écrite en Scala, avec des exemples Java, elle s'ajoute à un projet Spark comme dépendance Maven ou sbt ; PyDeequ, projet distinct, offre une interface Python.
Deequ est publiée sous licence Apache 2.0 dans l'organisation GitHub awslabs, gérée par Amazon Web Services, société américaine. C'est une bibliothèque, non un service hébergé : elle s'exécute dans l'environnement Spark que vous exploitez, et le lieu de traitement des données en dépend. Le code étant ouvert, une organisation européenne peut l'inspecter, le dupliquer et l'exécuter sur une infrastructure relevant de sa juridiction.