Braintrust ist eine Observability- und Evaluierungsplattform für KI-Agenten. Teams verfolgen Prompts, Antworten und Tool-Aufrufe in Echtzeit, beobachten Latenz, Kosten und Qualität, führen Experimente auf Datensätzen durch und bewerten Ausgaben mit Sprachmodellen, Code oder menschlichen Prüfern. Produktions-Traces lassen sich mit einem Klick in Evaluierungsdatensätze überführen. SDKs gibt es unter anderem für Python, TypeScript, Go, Ruby und C#, und ein MCP-Server erlaubt es, Logs abzufragen und Evaluierungen aus der Entwicklungsumgebung auszuführen. Die Plattform ist nicht quelloffen.
Braintrust Data, Inc. ist ein US-amerikanisches Unternehmen. Neben dem verwalteten Cloud-Dienst bietet Braintrust ein Hybridmodell: Die Data Plane mit Logs, Datensätzen und Evaluierungsergebnissen läuft in Ihrer eigenen AWS-, GCP- oder Azure-Umgebung, während Braintrust die Webanwendung und die Metadaten betreibt. Laut Anbieter gehen Browseranfragen direkt an Ihre Data Plane. Für Organisationen mit Bedarf an vollständiger Isolation steht außerdem eine vollständig selbst gehostete Variante bereit. Für eine europäische Organisation entscheidet diese Wahl darüber, wo Daten liegen; der Anbieter selbst unterliegt US-amerikanischem Recht.