Evidently ist ein Open-Source-Framework zum Evaluieren, Testen und Überwachen von ML- und LLM-basierten Systemen, vom Experiment bis zum Produktivbetrieb. Es verarbeitet tabellarische Daten und Texte, RAG-Anwendungen und KI-Agenten und enthält über 100 eingebaute Metriken, von der Erkennung von Daten-Drift bis zu LLM-basierten Bewertern. Berichte fassen Auswertungen zusammen, Test-Suites ergänzen Pass/Fail-Bedingungen, etwa für Regressionstests in CI/CD. Darauf aufbauend bietet die Evidently Platform eine Benutzeroberfläche, Tracing, synthetische Daten, Dashboards und Alerting, verfügbar als Evidently Cloud.
Die Bibliothek steht unter der Apache-2.0-Lizenz und läuft lokal: Nach der Installation mit pip oder conda starten Sie die Monitoring-Oberfläche auf Ihrem eigenen Rechner oder Server, sodass die Daten in Ihrer Umgebung bleiben. Laut Projektdokumentation können Enterprise-Kunden zwischen einer Cloud- und einer selbst gehosteten Variante wählen. Evidently Cloud ist ein verwalteter Dienst des Unternehmens Evidently AI; wer ihn nutzt, lässt Daten von einem externen Anbieter verarbeiten. Für europäische Organisationen, die die Kontrolle behalten möchten, ist der selbst gehostete Open-Source-Weg die direkteste Option.