NVIDIA hat am 16. Juni 2026 das ACE Game Agent SDK als Beta sowie eine neue Plugin-Suite für die Unreal Engine 5 vorgestellt. Im Mittelpunkt stehen KI-gestützte Spielfiguren und Begleiter, die direkt auf dem Endgerät laufen und ohne Anbindung an die Cloud auskommen. Die Verarbeitung erfolgt lokal auf NVIDIA-GeForce-RTX-Hardware, womit Sprachverstehen, Antwortgenerierung und Sprachausgabe ohne externe Serverdienste auskommen. Die Plugins setzen auf dem RTX-Branch der Unreal Engine auf.
Drei Bausteine für Sprache, Sprachmodell und Stimme
Die Plugin-Suite gliedert sich in drei Schichten. Für die Spracherkennung kommt ein Modell der Nemo-Conformer-CTC-Reihe (120M) zum Einsatz, das zunächst Englisch und sieben weitere Sprachen abdeckt. Die Antwortlogik übernimmt ein kompaktes Sprachmodell aus der Qwen3-Reihe in der 4B-Größenklasse, das im GGUF-Format vorliegt und Funktionsaufrufe unterstützt, sodass ein Charakter Aktionen im Spiel auslösen kann. Für die Sprachausgabe sorgt ein Text-to-Speech-Modell namens Chatterbox Turbo (350M). Alle drei Bausteine lassen sich sowohl über Blueprints als auch über C++ einbinden.
Darunter liegt das ACE Game Agent SDK, ein schlankes C- und C++-Framework, das NVIDIA als quelloffen und anpassbar beschreibt. Es stellt drei API-Kategorien bereit: eine zustandsbehaftete Agent API, eine zustandslose Chat API und eine RAG API für den Zugriff auf strukturiertes Spielwissen. Die Auslegung zielt auf kleine Modelle und die Ausführung auf RTX-Grafikkarten.
Beispiele aus laufenden Spielprojekten
NVIDIA nennt mehrere konkrete Umsetzungen. In PUBG: BATTLEGROUNDS entsteht mit Ally ein KI-Mitspieler, der über natürliche Sprache angesprochen werden kann; eine offene Beta ist vorgesehen. Für Total War: PHARAOH zeigt NVIDIA einen experimentellen KI-Berater in Gestalt eines Pharaos, dessen Antworten über eine RAG-Architektur an mehr als 1.200 Datentabellen des Spiels angebunden sind; ein Playtest ist für 2026 geplant. Das Studio SOKRISPYMEDIA setzt die Technik im First-Person-Titel Chalk Warfare ein, unter anderem für eine sprachgesteuerte Waffenerkennung.
Weitere RTX-Bausteine und Einordnung
Begleitend aktualisiert NVIDIA weitere Werkzeuge für die Engine. Ein neues UE5-Plugin bringt DLSS 4.5 mit Dynamic Multi Frame Generation, einem 6X-Modus und Super Resolution. Für Animationen stehen das Forschungsprojekt Kimodo sowie das daraus abgeleitete Plugin Animotive Kimodo bereit, das sprachgesteuerte Bewegungen erzeugt. Die Gesichtsanimation deckt Audio2Face ab. Die technischen Ressourcen, darunter NVIDIA ACE für Spiele und der RTX-Branch der Unreal Engine, stehen über die Entwicklerseiten von NVIDIA bereit.
Die Werkzeuge fügen sich in die laufende Entwicklung der Engine ein, die zuletzt Rendering, Animation und Produktionspipelines in den Fokus rückte. Der Ansatz, Sprachmodelle und Sprachverarbeitung lokal auf der Grafikkarte auszuführen, verschiebt einen Teil der bislang cloudbasierten KI-Funktionen auf das Endgerät, was Latenz und Betriebskosten betrifft. Inwieweit sich lokal ausgeführte Begleiter in Produktionsspielen durchsetzen, hängt von der verfügbaren RTX-Hardware auf Spielerseite und der Integration in bestehende Entwicklungspipelines ab.