Haystack est un framework Python open source pour créer des applications et des agents reposant sur de grands modèles de langage. Les développeurs assemblent des pipelines modulaires (recherche, routage, mémoire, génération) et les relient à des fournisseurs de modèles et bases vectorielles comme OpenAI, Anthropic, Hugging Face, Weaviate, Pinecone et Elasticsearch. Usages typiques : génération augmentée par récupération, recherche sémantique, questions-réponses et agents multi-étapes. Vous l'installez comme bibliothèque ; il s'exécute là où tourne votre code, et ses pipelines sont sérialisables et compatibles Kubernetes.
Haystack est maintenu par deepset GmbH (Berlin), qui a aussi un bureau à New York. Le code est publié sur GitHub sous licence Apache 2.0 : vous pouvez l'examiner, le modifier et l'héberger vous-même sans dépendre d'un service du fournisseur. Pour les besoins professionnels, deepset propose la Haystack Enterprise Platform, bâtie sur le framework, dans le cloud ou en auto-hébergement. La destination de vos données dépend des modèles et stockages connectés : une organisation européenne peut donc rester entièrement dans l'UE en choisissant des infrastructures et fournisseurs européens.