Facebook AI Research hat im Juli 2019 CraftAssist als Open-Source-Framework veröffentlicht: ein modulares System, das KI-Assistenten in Minecraft trainiert und betreibt. Der Bot kommuniziert über den ingame-Chat per natürlicher Sprache mit menschlichen Mitspielern und führt auf Anfrage komplexe Bauaufgaben aus.
Das Ziel der Forscher um Arthur Szlam und Kollegen bei Facebook Research ist ein Assistent, der nicht für eine einzelne, hochspezialisierte Aufgabe optimiert ist, sondern eine breite Palette einfacherer Anfragen versteht und ausführt. Minecraft dient dabei als kontrollierte, aber dennoch offene Forschungsumgebung: Die Welt kennt klare Regeln, die möglichen Blockanordnungen konzentrieren sich in der Praxis auf einen überschaubaren Teilraum aller theoretischen Kombinationen.
Modulare Architektur aus Sprache, Gedächtnis und Wahrnehmung
CraftAssist verbindet drei Kernmodule: ein neuronales semantisches Parser-Modell für die Sprachverarbeitung, ein Gedächtnismodul für gespeicherte Objektreferenzen und ein Wahrnehmungsmodul, das die Spielwelt visuell segmentiert. Erhält der Bot die Anweisung „Baue ein Haus neben dem blauen Würfel“, erzeugt der Parser eine Folge von Aktionsprimitiven, das Gedächtnismodul lokalisiert den Würfel und steuert den Bot an die korrekte Position, bevor eine Sequenz aus Bewegungs- und Bauschritten die Aufgabe abschließt.
Die Trainingsdaten umfassen Schritt-für-Schritt-Aufzeichnungen von über 2.500 Häusern, die menschliche Spieler in Minecraft gebaut haben, semantische Segmentierungsdaten dieser Gebäude sowie einen großangelegten Datensatz zur natürlichsprachlichen semantischen Analyse. Facebook AI hat alle diese Datensätze zusammen mit dem Framework-Code und dem Basis-Assistenten auf GitHub veröffentlicht.
CraftAssist nutzt intern den Open-Source-Server Cuberite als Minecraft-kompatible Serverplattform. Dieser erlaubt es, Spielsitzungen vollständig zu protokollieren und so automatisiert eigene Trainingsdaten zu generieren. Die modulare Struktur des Frameworks ist darauf ausgelegt, dass Forscher einzelne Komponenten austauschen oder erweitern können, ohne das Gesamtsystem neu aufsetzen zu müssen. Das Position Paper auf ArXiv legt die theoretische Grundlage für den Ansatz dar; ein separates technisches Paper beschreibt die Implementierungsdetails.