Unity hat am 2. Oktober 2018 das Projekt Puppo, The Corgi vorgestellt. Die Demo zeigt, wie das ML-Agents Toolkit die Bewegungen einer Spielfigur über Reinforcement Learning trainiert, statt jeden Schritt als feste Animationsfolge zu hinterlegen.
In der mobilen Demo wirft eine Spielfigur einen Stock, den der Corgi holen und zurückbringen soll. Unity veröffentlichte das Projekt samt vortrainiertem Modell und einer Dokumentation zu ML-Agents. Die grundlegende Spiellogik bleibt dabei klassisch geskriptet, während die Bewegung des Tieres aus dem trainierten Modell kommt.
Belohnungen steuern die Bewegung des Corgis
Für Puppo kombinierte Unity ein Ragdoll-Modell mit Gelenkmotoren. Der Agent beobachtet unter anderem die Entfernung zum Ziel, die relative Position des Stocks und die Ausrichtung seiner Beine. Als Belohnungen fließen die Bewegung in Richtung Ziel, eine Zeitstrafe, eine Rotationsstrafe und das Erreichen des Stocks in das Training ein.
Unity zufolge lernte Puppo auf einem Laptop innerhalb von etwa zwei Stunden, effizient auf den Stock zuzulaufen. Nach ungefähr einer Minute beherrschte der Corgi zunächst das Gehen, später das Laufen. Das Modell lernte auch, nach einem Sturz wieder aufzustehen. Die frühere ML-Agents-Arbeit mit sparsamen Belohnungen hatte bereits gezeigt, wie Unity Trainingssignale für Spielagenten untersucht.
Skripte und trainierte Modelle arbeiten zusammen
Im Spielbetrieb setzt das Skript den Stock als Ziel, nachdem er geworfen wurde. Sobald Puppo ihn erreicht, wechselt das Ziel zur Position der Spielfigur. Unity trennt damit die Regeln für den Ablauf von den Bewegungen, die der Agent während des Trainings selbst gelernt hat.
Das veröffentlichte Projekt enthält ein vortrainiertes Modell, das laut Unity auch auf mobilen Geräten eingesetzt werden kann. Für Entwickler liefert die Demo damit zugleich ein Beispiel für die Verbindung von Physik, klassischer Spielprogrammierung und maschinellem Lernen in einer Unity-Szene.