garak (Generative AI Red-teaming & Assessment Kit) is een open-source kwetsbaarheidsscanner voor taalmodellen, vergelijkbaar met wat nmap of Metasploit voor netwerken doen. De tool test of een model op ongewenste manieren kan falen, zoals hallucinaties, datalekken, prompt-injectie, misinformatie, toxische uitvoer en jailbreaks, met statische, dynamische en adaptieve probes. Ondersteunde doelen zijn onder meer Hugging Face, OpenAI, Cohere, Groq, AWS Bedrock, NVIDIA NIM, lokale GGUF-modellen en elk REST-endpoint. U installeert garak met pip en draait het zelf, bijvoorbeeld vanaf de opdrachtregel.
garak is oorspronkelijk gemaakt door Leon Derczynski en wordt nu ontwikkeld en ondersteund door NVIDIA, een Amerikaans bedrijf; de code staat onder de GitHub-organisatie van NVIDIA. De licentie is Apache 2.0, dus u kunt de tool volledig in eigen beheer draaien en gegevens binnen uw eigen omgeving houden. Er is geen gehoste dienst nodig. Het project wordt echter door één leverancier aangestuurd, wat voor langetermijnafhankelijkheid van belang is.