Braintrust est une plateforme d'observabilité et d'évaluation pour agents d'IA. Les équipes suivent en temps réel prompts, réponses et appels d'outils, mesurent latence, coût et qualité, lancent des expériences sur des jeux de données et notent les sorties avec des modèles, du code ou des relecteurs humains. Les traces de production peuvent devenir des jeux de données d'évaluation. Des SDK existent notamment pour Python, TypeScript, Go, Ruby et C#, ainsi qu'un serveur MCP. La plateforme n'est pas open source.
Braintrust Data, Inc. est une entreprise américaine. Outre le service cloud géré, Braintrust propose un modèle hybride : le plan de données (logs, jeux de données, résultats d'évaluation) s'exécute dans votre propre environnement AWS, GCP ou Azure, tandis que Braintrust héberge l'application web et les métadonnées. Selon l'éditeur, les requêtes du navigateur vont directement vers votre plan de données. Une variante entièrement auto-hébergée existe aussi. Pour une organisation européenne, ce choix détermine où se trouvent les données ; l'éditeur reste soumis au droit américain.