Evidently est un framework open source pour évaluer, tester et surveiller les systèmes reposant sur le ML et les LLM, de l'expérimentation à la production. Il gère les données tabulaires et textuelles, les applications RAG et les agents d'IA, avec plus de 100 métriques intégrées, de la dérive des données aux évaluateurs fondés sur des LLM. Des rapports résument les évaluations et des suites de tests ajoutent des conditions de réussite, par exemple en CI/CD. La plateforme Evidently ajoute interface, traçage, données synthétiques, tableaux de bord et alertes, sous le nom Evidently Cloud.
La bibliothèque est sous licence Apache 2.0 et s'exécute en local : après installation avec pip ou conda, vous lancez l'interface sur votre propre machine, et les données restent chez vous. La documentation indique que les clients entreprise peuvent choisir une offre cloud ou auto-hébergée. Evidently Cloud est géré par la société Evidently AI : l'utiliser revient à confier vos données à un tiers. Pour garder la maîtrise, l'auto-hébergement de la version open source est l'option la plus directe.