Die Game-Intelligence-Gruppe von Microsoft Research Cambridge hat am 6. Oktober 2020 drei neue Reinforcement-Learning-Methoden vorgestellt. Sie sollen das maschinelle Lernen von Agenten in Spielumgebungen und darüber hinaus verbessern. Entstanden sind die Arbeiten im Umfeld von Project Paidia, einer Forschungskooperation zwischen Microsoft Research Cambridge und dem zu Xbox Game Studios gehörenden Entwickler Ninja Theory. Das Projekt will Agenten bauen, die mit menschlichen Spielern zusammenspielen, statt nur gegen sie anzutreten. Als Anwendungsfeld dient das teambasierte Actionspiel Bleeding Edge.
Die drei vorgestellten Verfahren
Das erste Verfahren trägt den Titel „Conservative Uncertainty Estimation By Fitting Prior Networks“ und dreht sich um die Frage, wie sich Unsicherheit in den Vorhersagen tiefer neuronaler Netze beziffern lässt. Die Methode baut auf dem Prinzip der Random Network Distillation auf. Sie nutzt ein getrenntes Prior- und Predictor-Netzwerk, um konservative Abschätzungen der Modellunsicherheit zu liefern. Solche Abschätzungen werden wichtig, sobald ein Agent erkennen soll, in welchen Situationen seine Entscheidungen verlässlich sind und in welchen nicht.
Das zweite Verfahren, „AMRL: Aggregated Memory For Reinforcement Learning“, kümmert sich um das Gedaechtnis von Agenten in nur teilweise beobachtbaren Umgebungen. Es kombiniert rekurrente Schichten mit ordnungsinvarianten Aggregatoren wie Summen- und Maximum-Operationen, damit Informationen über längere Zeiträume stabiler gespeichert und abgerufen werden. Das dritte Verfahren, „VariBAD: A Very Good Method for Bayes-Adaptive Deep RL via Meta-Learning“, zielt auf die schnelle Anpassung an neue Aufgaben. Über eine Encoder-Decoder-Architektur modelliert es die Belief-Verteilung des Agenten im Rahmen Bayes-adaptiver Markov-Entscheidungsprozesse. VariBAD entstand in Zusammenarbeit mit Forschenden der University of Oxford.
Wer beteiligt war und was die Spiele dabei leisten
Die ersten beiden Arbeiten liefen auf der International Conference on Learning Representations (ICLR) 2020. Beteiligt waren unter anderem Kamil Ciosek (Senior Researcher), Sam Devlin (Principal Researcher) und Katja Hofmann (Partner Research Manager), dazu weitere Mitarbeitende der Game-Intelligence-Gruppe von Microsoft. Die Methoden bleiben nicht auf den Spielebereich beschränkt. Sie greifen grundlegende Probleme des Reinforcement Learning auf: Unsicherheitsschätzung, Gedaechtnis und Generalisierung. Spielumgebungen wie Bleeding Edge sind dabei das Testfeld, in dem sich komplexe Kooperations- und Anpassungsszenarien kontrolliert untersuchen lassen. Für die Gameentwicklung zählt vor allem die Aussicht, Agenten zu schaffen, die menschliche Mitspieler unterstützen und sich an deren Verhalten anpassen, statt nur als Gegner aufzutreten.