vLLM est un moteur open source pour exécuter et servir de grands modèles de langage. Il propose une API compatible OpenAI et prend en charge les backends CUDA, ROCm, XPU et CPU. Les développeurs et organisations l'utilisent pour faire tourner des modèles sur leur propre matériel ou dans leur propre cloud. Distribué sous forme de paquet Python et d'image Docker sous licence Apache 2.0, il a été développé à l'origine au Sky Computing Lab de l'université de Californie à Berkeley.
vLLM est un projet communautaire de la PyTorch Foundation, hébergée par la Linux Foundation, une organisation à but non lucratif de droit fiscal américain (501(c)(6)). Le site décrit une installation par paquet Python ou image Docker, et non un service hébergé. Qui exploite vLLM garde requêtes et réponses dans sa propre infrastructure, ce qui intéresse les organisations européennes voulant remplacer des API d'inférence américaines. La gouvernance relève toutefois d'une organisation américaine, même si le code peut être utilisé et modifié librement.