Braintrust is een observability- en evaluatieplatform voor AI-agents. Teams volgen prompts, antwoorden en tool-aanroepen in realtime, houden latentie, kosten en kwaliteit bij, voeren experimenten uit op datasets en beoordelen uitvoer met taalmodellen, code of menselijke beoordelaars. Productietraces kunnen met één klik datasets voor evaluaties worden. Er zijn SDK's voor onder meer Python, TypeScript, Go, Ruby en C#, en een MCP-server om logs en evaluaties vanuit een ontwikkelomgeving te gebruiken. Het platform is geen open source.
Braintrust Data, Inc. is een Amerikaans bedrijf. Naast de beheerde clouddienst biedt Braintrust een hybride model: de data plane met logs, datasets en evaluatieresultaten draait in uw eigen AWS-, GCP- of Azure-omgeving, terwijl Braintrust de webapplicatie en metadata beheert. Volgens de leverancier lopen verzoeken van de browser rechtstreeks naar uw data plane. Ook een volledig zelf gehoste variant is beschikbaar voor organisaties die volledige isolatie nodig hebben. Voor een Europese organisatie bepaalt die keuze waar gegevens staan; de leverancier zelf valt onder Amerikaanse jurisdictie.