garak (Generative AI Red-teaming & Assessment Kit) est un scanner de vulnérabilités open source pour les modèles de langage, censé faire pour les LLM ce que nmap ou Metasploit font pour les réseaux. Il vérifie si un modèle peut échouer de façon indésirable : hallucinations, fuites de données, injection de prompt, désinformation, contenus toxiques et jailbreaks, avec des sondes statiques, dynamiques et adaptatives. Il prend en charge notamment Hugging Face, OpenAI, Cohere, Groq, AWS Bedrock, NVIDIA NIM, des modèles GGUF locaux et tout point d'accès REST. Vous l'installez avec pip et l'exécutez vous-même.
garak a été créé par Leon Derczynski et est aujourd'hui développé et soutenu par NVIDIA, une entreprise américaine ; le code est publié dans l'organisation GitHub de NVIDIA. La licence est Apache 2.0 : vous pouvez l'exploiter entièrement sous votre contrôle et garder les données chez vous. Aucun service hébergé n'est nécessaire. Le projet est toutefois piloté par un seul éditeur, ce qui compte pour la dépendance à long terme.