Haystack is een open-source framework in Python voor het bouwen van toepassingen en agents op basis van grote taalmodellen. Ontwikkelaars stellen modulaire pipelines samen voor ophalen van informatie, routering, geheugen en tekstgeneratie en koppelen die aan modelaanbieders en zoek- of vectoropslag, zoals OpenAI, Anthropic, Hugging Face, Weaviate, Pinecone en Elasticsearch. Typische toepassingen zijn retrieval-augmented generation, semantisch zoeken, vraag-en-antwoord en agents met meerdere stappen. U installeert Haystack als bibliotheek; het draait waar uw eigen code draait; pipelines zijn serialiseerbaar en geschikt voor Kubernetes.
Haystack wordt onderhouden door deepset GmbH uit Berlijn, dat ook een kantoor in New York heeft. De code staat onder de Apache 2.0-licentie op GitHub, zodat u het framework kunt inspecteren, aanpassen en zelf hosten zonder afhankelijk te zijn van de leverancier. Voor zakelijk gebruik biedt deepset het Haystack Enterprise Platform, gebouwd op het open-sourceframework, in de cloud of zelf gehost. Waar uw data terechtkomt, hangt af van de modellen en opslagsystemen die u koppelt. Een Europese organisatie kan dus een volledig EU-gebaseerde opzet realiseren door Europese infrastructuur en aanbieders te kiezen.