vLLM ist eine Open-Source-Engine für den Betrieb und die Bereitstellung großer Sprachmodelle. Sie bietet eine OpenAI-kompatible Programmierschnittstelle und unterstützt die Rechenbackends CUDA, ROCm, XPU und CPU. Entwickler und Organisationen nutzen sie, um Modelle auf eigener Hardware oder im eigenen Cloud-Konto zu betreiben. vLLM wird als Python-Paket und als Docker-Image unter der Apache-2.0-Lizenz verteilt. Das Projekt entstand ursprünglich im Sky Computing Lab der University of California, Berkeley.
vLLM ist ein Community-Projekt innerhalb der PyTorch Foundation, die von der Linux Foundation gehostet wird, einer gemeinnützigen Organisation nach US-Steuerrecht (501(c)(6)). Die Projektwebsite beschreibt die Installation als Python-Paket oder Docker-Image und nicht als gehosteten Dienst. Wer vLLM selbst betreibt, hält Prompts und Ausgaben innerhalb der eigenen Infrastruktur. Für europäische Organisationen, die gehostete Inferenz-APIs von US-Anbietern ersetzen möchten, ist das relevant. Die Governance liegt jedoch bei einer US-amerikanischen Organisation, auch wenn der Code frei genutzt und verändert werden darf.