Haystack ist ein quelloffenes Python-Framework zum Bau von Anwendungen und Agenten auf Basis großer Sprachmodelle. Entwickler setzen modulare Pipelines für Retrieval, Routing, Gedächtnis und Textgenerierung zusammen und binden sie an Modellanbieter sowie Such- oder Vektorspeicher wie OpenAI, Anthropic, Hugging Face, Weaviate, Pinecone und Elasticsearch an. Typische Einsatzfelder sind Retrieval-Augmented Generation, semantische Suche, Frage-Antwort-Systeme und mehrstufige Agenten. Sie installieren Haystack als Bibliothek; es läuft überall dort, wo Sie Ihren eigenen Code betreiben. Pipelines sind serialisierbar und für Kubernetes geeignet.
Haystack wird von der Berliner deepset GmbH gepflegt, die auch ein Büro in New York unterhält. Der Code steht auf GitHub unter der Apache-2.0-Lizenz, sodass Sie das Framework prüfen, anpassen und selbst betreiben können, ohne von einem Dienst des Anbieters abhängig zu sein. Für kommerzielle Anforderungen bietet deepset die Haystack Enterprise Platform an, die auf dem Open-Source-Framework aufbaut und in der Cloud oder selbst gehostet laufen kann. Wo Ihre Daten landen, hängt von den angebundenen Modellen und Speichern ab. Eine europäische Organisation kann daher einen vollständig EU-basierten Aufbau wählen, indem sie europäische Infrastruktur und Anbieter einsetzt.