Unity hat zum weltweiten Start von Unity 6 am 17. Oktober 2024 die allgemeine Verfügbarkeit von Sentis 2.1 bekannt gegeben. Die Laufzeitbibliothek führt neuronale Netze direkt im Unity Runtime auf dem Gerät des Nutzers aus und beendet damit die vorangegangene Open-Beta-Phase. Bill Cullen, Principal Product Manager im KI-Team von Unity, koppelte die Freigabe von Sentis 2.1 an den Launch von Unity 6.
Sentis verarbeitet Modelle im ONNX-Format. Entwickler konvertieren ihre in TensorFlow oder PyTorch trainierten Netze in dieses Austauschformat und importieren sie anschließend in das Projekt. Nach dem Import laufen die Modelle ohne Cloud-Infrastruktur auf allen von Unity unterstützten Plattformen, also lokal auf dem Endgerät. Die Anbindung an externe Inferenz-Server entfällt für die abgedeckten Anwendungsfälle, was sich auf Latenz und laufende Kosten der Modellausführung auswirkt. Den Ansatz lokaler KI in der Engine kennt man bereits von Konkurrenzlösungen wie dem NVIDIA ACE Game Agent SDK für die Unreal Engine 5.
Was die On-Device-Inferenz im Spiel leisten soll
Unity gliedert die Einsatzgebiete von Sentis in drei Bereiche. Der erste umfasst Interaktionen mit der realen Umgebung, etwa die Auswertung von Kamera-, Mikrofon- und Bewegungssensordaten für die Steuerung. Der zweite Bereich zielt auf intelligenteres Gameplay, darunter Nicht-Spieler-Charaktere mit erweitertem Verhalten, Vorhersagen zum Spielverlauf und automatisierte Gegner. Der dritte Bereich betrifft Spieleffekte und nennt die Verbesserung von Animationen, Rendering sowie prozeduralen Techniken. Als Beispiele aus der Beta-Phase nannte Unity Objekterkennung, Spracherkennung und reaktionsfähigere NPCs. Wie weit neuronale Netze im Gaming reichen, war zuletzt auch Thema im NVidia GeForce TechTalk zu KI und neuronalen Netzwerken in Spielen.
Die Bibliothek ist auf leichtgewichtige, optimierte Modelle ausgelegt, die typischerweise nur wenige Megabyte groß sind und auf ressourcenbeschränkter Hardware laufen. Große Sprachmodelle oder generative Assets liegen außerhalb des vorgesehenen Einsatzbereichs, da diese laut Unity besser für Cloud-Inferenz geeignet sind. Sentis 2.1 brachte zudem Laufzeitoptimierungen mit, unter anderem für Matrixmultiplikationen, sowie mehrere Fehlerkorrekturen im Tensor-Handling.
Verfügbarkeit über den Package Manager und Modellbezug
Sentis steht allen Unity-Nutzern über den Package Manager zur Verfügung und bildet die Engine für die native Ausführung neuronaler Netze im Runtime. Fertige Modelle und Beispiele beziehen Entwickler über die offizielle Dokumentation, GitHub-Beispiele und ein Modell-Repository auf Hugging Face. Unity verbucht die Inferenz auf dem Gerät als festen Baustein des Unity-6-Funktionsumfangs und damit als Teil des breiteren KI-Angebots der Plattform.