NVIDIA NIM bestaat uit voorverpakte inference-microservices waarmee organisaties AI-modellen op NVIDIA-GPU's draaien. Elke NIM is een container met het model, een geoptimaliseerde inferentie-engine, de benodigde afhankelijkheden en standaard-API's, die ook via de OpenAI-client aanspreekbaar zijn. De containers draaien in een datacenter, op een werkstation, aan de rand van het netwerk of bij een publieke cloudaanbieder, en schalen op Kubernetes.
NVIDIA Corporation is gevestigd in Santa Clara, Californië, en valt onder Amerikaans recht. NIM kunt u zelf hosten op eigen infrastructuur, zodat prompts en data uw omgeving niet hoeven te verlaten; voor productiegebruik is een NVIDIA AI Enterprise-licentie nodig. De software zelf is niet open source en de modellen vallen onder aparte licenties. Daarnaast bestaan door NVIDIA gehoste API-eindpunten voor prototyping, waarvan de regio niet is gepubliceerd. Het privacybeleid noemt standaardcontractbepalingen en deelname aan het Data Privacy Framework voor doorgifte uit Europa en erkent dat NVIDIA aan Amerikaanse wetgeving is onderworpen.