NVIDIA hat auf der Gamescom 2024 am 20. August 2024 angekündigt, dass der Mech-Shooter Mecha BREAK von Amazing Seasun Games, einer Tochtergesellschaft von Kingsoft, das erste Spiel mit der ACE-Digital-Human-Technologie ist. In einer spielbaren Demo sprechen Spieler per natürlicher Sprache mit dem Mechaniker-NPC und bitten um Empfehlungen zu Einsatzzielen, zur Wahl des passenden Mechs sowie zu Anpassungen wie einer neuen Lackierung. Die Antworten und die zugehörige Gesichtsanimation entstehen dabei zu großen Teilen direkt auf der lokalen GeForce-RTX-Hardware, nur die Sprachausgabe läuft über die Cloud.
Hybrider Stack aus lokalen NIMs und Cloud-Sprachausgabe
Die Interaktion verteilt sich auf vier Komponenten, die NVIDIA in seinem ACE-Programm als NIM-Microservices bündelt. Für die Spracherkennung kommt Whisper von OpenAI zum Einsatz, die Verarbeitung der Spielereingabe und die Generierung der Dialogantwort übernimmt das Sprachmodell Nemotron-4 4B Instruct, und die lippensynchrone Mimik liefert Audio2Face-3D. Diese drei Bausteine laufen lokal auf dem RTX-System. Die finale Sprachausgabe des NPCs erzeugt ElevenLabs in der Cloud. Latenzkritische und datenintensive Schritte wie Erkennung, Sprachverständnis und Animation bleiben also auf dem Gerät, während die rechenintensive Stimmensynthese ausgelagert wird. Dieselbe ACE-Idee hat NVIDIA später für Entwickler geöffnet, etwa mit dem ACE Game Agent SDK für die Unreal Engine 5.
Nemotron-4 4B Instruct ist nach Angaben von NVIDIA für rollenspielartige Dialoge ausgelegt und verfügt über Retrieval-Augmented-Generation sowie Function-Calling. Letzteres erlaubt es dem NPC, Spieleranweisungen in konkrete Aktionen im Spiel zu übersetzen, etwa das tatsächliche Umlackieren des Mechs nach einer gesprochenen Bitte. RAG und Function-Calling sind die technischen Voraussetzungen dafür, dass das Modell nicht nur frei formuliert, sondern an den Spielzustand und an definierte Funktionen gekoppelt bleibt.
Modellgröße und Optimierung für lokale RTX-GPUs
Das Sprachmodell mit vier Milliarden Parametern entsteht laut NVIDIA durch Distillation aus dem größeren Nemotron-4 15B. Dabei wird das kleinere Schülermodell darauf trainiert, die Ausgaben des größeren Lehrermodells nachzubilden, unkritische Ausgaben werden geprunt, und anschließend folgt eine Quantisierung, die die Präzision der Gewichte reduziert. Resultat ist ein geringerer Speicherbedarf und eine kürzere Zeit bis zum ersten Token gegenüber der 15B-Variante. NVIDIA führt das Modell auch unter der Bezeichnung Nemotron-Mini 4B Instruct als sein erstes On-Device-Sprachmodell für Digital Humans.
Damit stellt sich die Frage, welche Modellgrößen sich überhaupt sinnvoll lokal betreiben lassen. NVIDIA nennt als Zielplattform die installierte Basis von über 100 Millionen GeForce-RTX-PCs und -Laptops und sieht in spezialisierten kleinen Sprachmodellen für klar umrissene NPC-Rollen schnellere und passendere Antworten als bei einem generischen Großmodell. Vergleichbare KI-Demonstrationen zeigte NVIDIA auch bei späteren Anlässen, etwa als KRAFTON, NC und Riot Games neue KI-Anwendungen vorstellten. Mecha BREAK erscheint 2025, unterstützt zum Start DLSS 3 und stand auf der Gamescom als spielbare Demo bereit.