OpenAI stellte am 5. Dezember 2016 mit Universe eine Plattform zum Messen und Trainieren künstlicher Intelligenz vor. Das System sollte Agenten in Spielen, Webseiten und anderen Computerprogrammen arbeiten lassen. Als Beispiele nannte OpenAI unter anderem Portal und Civilization.
Die Schnittstelle bildet einen entfernten Desktop ab. Ein Agent sieht die Bildpunkte des Bildschirms und erzeugt daraus Tastatur- oder Mausbefehle. Universe stellt damit unterschiedliche Anwendungen über einen gemeinsamen Zugang bereit, ohne für jedes Programm eine eigene Steuerlogik vorauszusetzen.
Spiele liefern messbare Aufgaben
Zum Start enthielt Universe die Atari-2600-Spiele der Arcade Learning Environment sowie rund 1.000 Flash-Spiele. Für 100 dieser Flash-Spiele standen laut OpenAI bereits Belohnungsfunktionen zur Verfügung. Die Forschungseinrichtung berichtete außerdem, mehr als 30.000 weitere Spiele gesichtet zu haben. Punkte, Ziele und andere sichtbare Rückmeldungen konnten als Grundlage für das Training dienen.
OpenAI verpackte die Umgebungen als Docker-Images und band sie an die eigene Gym-Schnittstelle an. Das offizielle Universe-Repository dokumentiert die Umgebungskennungen sowie das Protokoll zwischen Agent und Anwendung. Neben Spielen gehörten auch Browseraufgaben dazu, bei denen ein System Webseiten wie ein Mensch bedienen sollte.
Vom Pixelbild zur Aktion
Der Ansatz knüpfte an die kurz zuvor sichtbaren Fortschritte beim Lernen aus Bilddaten an. Ein früherer DeepMind-Ansatz hatte Atari-Spiele ebenfalls direkt aus Pixeln, Steuerbefehlen und Spielwertung gelernt. Universe übertrug dieses Grundprinzip auf eine deutlich größere Sammlung von Spielen und allgemeinen Computeraufgaben.
OpenAI beschrieb die Plattform als Infrastruktur für Agenten, die mit schwankenden Latenzen und Echtzeitsteuerung umgehen müssen. Das sollte eine gemeinsame Basis für weitere Lernverfahren schaffen, ohne die Anwendungen auf einzelne, vorab festgelegte Regeln zu reduzieren.