NVIDIA hat am 20. Februar 2025 das In-Game Inferencing SDK (NVIGI) vorgestellt, einen GPU-optimierten, plugin-basierten Inferenz-Manager für die Integration von ACE-Modellen in Spiele und interaktive Anwendungen. Das SDK richtet sich an die C++-Entwicklung und erlaubt es, KI-Inferenz direkt neben den Rendering-Aufgaben auszuführen. Damit adressiert NVIDIA jenen Teil der ACE-Integration, der bislang die eigentliche technische Hürde darstellte: das Einbinden von Sprach-, Wahrnehmungs- und Cognition-Modellen in eine laufende Engine, ohne die Bildrate zu belasten.
Kern von NVIGI ist die Technik Compute-in-Graphics (CIG). Sie plant GPU-Arbeitslasten so, dass die KI-Inferenz parallel zu den Grafikberechnungen läuft und der Einfluss auf die Framerate gering bleibt. Die Auslieferung erfolgt über Windows-native DLLs, was den C++-Workflow vereinfacht. Die Plugin-Architektur trennt die einzelnen KI-Bausteine voneinander, sodass Spracherkennung, Sprachmodelle und Embeddings unabhängig ergänzt oder aktualisiert werden können. Modelle lassen sich On-Device auf lokaler CPU oder GPU ausführen, über GGML, ONNX Runtime und DirectML, oder alternativ in der Cloud.
Plugins für Spracherkennung, Sprachmodelle und Embeddings
Für die automatische Spracherkennung (ASR) unterstützt das SDK Whisper über GGML auf CUDA oder CPU. Die Anbindung von NVIDIA RIVA ASR auf Basis von TensorRT und CUDA-fähiger GPU war zum Start als kommende Option angekündigt. Bei den kleinen Sprachmodellen (SLMs) deckt NVIGI die Mistral-Nemo-Minitron-Familie mit 2B-, 4B- und 8B-Varianten und einem Kontextfenster von 128K ab, dazu Llama-3.2-3B Instruct, Nemotron-Mini-4B-Instruct sowie Mistral-7B-Instruct über ONNX und DirectML. Für kontextuelles Gedächtnis und RAG-Ansätze steht das Embedding-Modell E5-Large-Unsupervised bereit.
Die Modelle bilden die Stufen des ACE-Stacks ab. NVIDIA nennt NeMoAudio-4B für die Wahrnehmung, Mistral-Nemo-Minitron für die Cognition, Embeddings für das Gedächtnis sowie Audio2Face-3D für die Animation. NVIGI unterstützt einen interaktiven Modus für Dialoge über mehrere Runden und bindet sich in Unreal Engine 5 über die dynamische RHI-Schnittstelle ein.
Engineering statt Demo: das eigentliche Problem
Die Demonstrationen rund um ACE zeigten bereits dialogfähige Charaktere, doch die Frage der praktischen Einbindung blieb offen. Ein Sprachmodell lokal neben einer Spiel-Engine zu betreiben, konkurriert direkt mit dem Renderer um GPU-Ressourcen. Genau hier setzt NVIGI an. Compute-in-Graphics regelt die Ressourcenzuteilung, und die DLL-basierte Plugin-Struktur erlaubt es Studios, einzelne Modelle auszutauschen, ohne den restlichen Code anzufassen. Die Wahl zwischen On-Device- und Cloud-Inferenz gibt Entwicklern zusätzlichen Spielraum, je nach Hardware-Annahmen der Zielgruppe zu skalieren.