Nvidia hat auf der gamescom 2024 am 19. August 2024 angekündigt, dass der Mech-Shooter Mecha BREAK von Amazing Seasun Games (Tochter der Kingsoft Corporation) als erstes Spiel die ACE-Technologien und das Sprachmodell Nemotron-4 4B Instruct einsetzt. Damit verlässt Nvidias Digital-Human-Stack erstmals die Demo-Phase und kommt in einem konkreten kommerziellen Titel zum Einsatz. Parallel kündigte Nvidia RTX-Integration für 20 weitere Spiele an, darunter Dragon Age: The Veilguard und Indiana Jones and the Great Circle.
Das Besondere am Aufbau in Mecha BREAK ist die Verlagerung des Sprachmodells auf das Endgerät. Das Nemotron-4 4B Instruct NIM läuft als kleines Sprachmodell lokal auf der GPU des Spielers und nicht in der Cloud. Spieler können per natürlicher Sprache mit Figuren im Spiel kommunizieren, etwa mit dem Mechaniker, um Ratschläge zu Missionszielen oder zur Wahl des passenden Mechs einzuholen und anschließend die Lackierung anpassen zu lassen. Nvidia positioniert das Modell für Rollenspiel-Dialoge mit Retrieval-Augmented-Generation und Function-Calling, sodass die Figuren Anweisungen auswerten und konkrete Aktionen auslösen können.
On-Device-Modell statt Cloud-Anbindung
Nemotron-4 4B Instruct ist nach Nvidias Angaben das erste On-Device-Small-Language-Model des Konzerns für diesen Zweck. Ein kompaktes Modell mit rund vier Milliarden Parametern lässt sich lokal ausführen und reduziert die Latenz, weil keine Anfrage an einen entfernten Server nötig ist. In Mecha BREAK arbeiten mehrere Bausteine zusammen: Das Sprachmodell und das Audio2Face-3D NIM für die Gesichtsanimation laufen ebenso lokal wie Whisper von OpenAI für die Spracherkennung. Die Stimme der Figur wird dagegen über die Cloud von Elevenlabs erzeugt. Die ACE-Suite bündelt diese Komponenten als Werkzeugkasten, mit dem Entwickler generative KI in spielbare Charaktere einbauen können.
Lokale KI-Figuren als Alternative zur Cloud
Für Studios eröffnet der lokale Ansatz eine Alternative zu cloudbasierten Dialogsystemen, die laufende Serverkosten und Abhängigkeit von Online-Verbindungen mit sich bringen. Ein auf der Spieler-Hardware laufendes Modell verlagert die Rechenlast auf die GPU und ermöglicht Sprachinteraktion auch ohne dauerhafte Anbindung. Den gleichen Weg verfolgt Nvidia mit dem ACE Game Agent SDK, das lokale Begleiter direkt in die Unreal Engine 5 bringt. Offen bleibt, wie stark der Speicher- und Rechenbedarf parallel zum eigentlichen Spielbetrieb ausfällt und welche GPU-Klasse die Funktion sinnvoll trägt. Mecha BREAK ist als Multiplayer-Titel ausgelegt und soll 2025 erscheinen. Mit dem Spiel liegt erstmals ein kommerzieller Referenzfall vor, an dem sich der Nutzen von On-Device-LLM-NPCs außerhalb von Technikdemos messen lässt.