Microsoft Research will Reinforcement Learning für die Spielentwicklung alltagstauglicher machen. Statt das Verhalten von Spielagenten direkt auszuprogrammieren, sollen Designer künftig vor allem Aufgaben und gestalterische Vorgaben festlegen, den Lösungsweg findet der Agent selbst. Den Ansatz beschreiben die Forschenden Batu Aytemiz, Mikhail Jacob, Sam Devlin und Katja Hofmann. Im Zentrum der Methodik steht damit die Arbeitsweise der Entwickler selbst.
Der Anlass: Reinforcement Learning löst in Forschungsumgebungen zwar komplexe Spielprobleme, in kommerziellen Produktionen kommt es bislang kaum breit zum Einsatz. Microsoft Research erklärt das unter anderem damit, dass Designer nicht nur das Ziel eines Agenten vorgeben müssen, sondern auch den Weg dorthin. Hinzu kommt, dass sich bestehende Trainingsmethoden nur schwer in die üblichen Entwicklungsabläufe einbauen lassen.
Aufgaben definieren statt Verhalten programmieren
Im Kern geht es um die kuenstlerische Kontrolle über den Stil eines Agenten. Anstatt einen gewünschten Bewegungs- oder Handlungsstil mathematisch in einer Belohnungsfunktion festzuschreiben, sollen Designer schlicht Beispiele bevorzugen können. Dazu zählt das praeferenzbasierte Lernen, bei dem aus mehreren vorgeführten Verläufen der bevorzugte ausgewählt wird. Daneben lassen sich der Agent direkt steuern oder einzelne Zustände annotieren, um das Feintuning zu lenken. So entsteht Stil ohne formale Modellierung.
Ein zweiter Punkt ist die Balance zwischen mehreren Vorgaben, konkret zwischen dem Erfüllen der eigentlichen Aufgabe und dem gewünschten Verhalten. Damit die zusätzlichen Stilbelohnungen die Aufgabenleistung nicht kaputtmachen, setzt das Team auf potenzialbasiertes Reward Shaping (Potential-based Reward Shaping, PBRS). Eine automatische Anpassung des Belohnungsverhältnisses holt das Maximum an Stilbelohnung heraus, bleibt aber innerhalb der Leistungsschwellen, die Designer vorgeben.
Werkzeuge für Designer ohne Ingenieurshintergrund
Die dritte Baustelle sind Werkzeuge, die kein formales technisches Training erfordern. Microsoft Research siedelt den Ansatz bei Project Paidia an, einer Forschungskooperation mit dem Studio Ninja Theory, und nennt das Spiel Bleeding Edge als Anwendungsfeld. Reinforcement Learning soll sich so in bestehende Workflows einbetten lassen, dass Designer auch ohne tiefe Ingenieurskenntnisse damit arbeiten können.
Die Forschenden sehen in dem designer-zentrierten Ansatz einen praktikablen Weg, Reinforcement Learning in die kommerzielle Spielentwicklung zu holen, und kündigen weitere Zusammenarbeit mit Fachleuten der Branche an. Die methodischen Details stehen in der begleitenden Arbeit „Towards Designer Centred Reinforcement Learning for the Videogames Industry“, entstanden im Rahmen des CHI-2021-Workshops RL4HCI.