Promptfoo is een open-source CLI en bibliotheek voor het evalueren en red-teamen van toepassingen op basis van grote taalmodellen. Teams testen er prompts, modellen en RAG-pijplijnen mee, vergelijken modellen van verschillende aanbieders naast elkaar en testen agents op kwetsbaarheden als prompt injection, jailbreaks, PII-lekken en onveilig toolgebruik. Het draait in CI/CD-pijplijnen en kan worden geïnstalleerd via npm, Homebrew of pip. Evaluaties draaien volgens het project lokaal, zodat prompts op uw eigen machine blijven. Voor bedrijven noemt de website integraties on-premise of in de cloud.
Promptfoo is MIT-gelicenseerd, dus u kunt de code inspecteren en zelf draaien. In maart 2026 maakte het bedrijf bekend door OpenAI te worden overgenomen; het zegt dat het open-sourceproject open blijft en onderhouden wordt. Voor een Europese organisatie is dan relevant dat de eigenaar van de commerciële aanbieder een niet-Europese AI-leverancier is, terwijl lokaal gebruik van de open-sourcetool geen gegevens naar de aanbieder hoeft te sturen.