vLLM is een open-source engine voor het uitvoeren en serveren van grote taalmodellen. Het biedt een OpenAI-compatibele API en ondersteunt de rekenbackends CUDA, ROCm, XPU en CPU. Ontwikkelaars en organisaties gebruiken het om modellen op eigen hardware of in een eigen cloudomgeving te draaien. vLLM wordt verspreid als Python-pakket en als Docker-image, onder de Apache 2.0-licentie, en is oorspronkelijk ontwikkeld in het Sky Computing Lab van de Universiteit van Californië in Berkeley.
vLLM is een project binnen de PyTorch Foundation, die wordt gehost door de Linux Foundation, een non-profitorganisatie naar Amerikaans belastingrecht (501(c)(6)). De projectwebsite beschrijft installatie als Python-pakket of Docker-image en geen gehoste dienst. Wie vLLM zelf draait, houdt prompts en uitvoer binnen de eigen infrastructuur. Dat maakt de software relevant voor Europese organisaties die gehoste inferentie-API's van Amerikaanse aanbieders willen vervangen. Het bestuur ligt bij een Amerikaanse organisatie, al mag de code vrij worden gebruikt en aangepast.