Ein Forschungsteam der Carnegie Mellon University hat mit LegoGPT ein Verfahren zur Erzeugung baubarer Klemmbausteinmodelle aus Text vorgestellt. Das am 8. Mai 2025 eingereichte Paper verbindet ein angepasstes Sprachmodell mit geometrischen Prüfungen und einer Berechnung der physikalischen Stabilität. In einem Test mit 250 Beschreibungen waren laut Team 98,8 Prozent der erzeugten Konstruktionen stabil.
Als Grundlage dient Llama-3.2-1B-Instruct. Das angepasste Modell schreibt für jeden Stein eine Textzeile mit Abmessungen und Koordinaten; die Reihenfolge verläuft von unten nach oben. Der Trainingsdatensatz StableText2Lego enthält mehr als 47.000 stabile Konstruktionen aus über 28.000 unterschiedlichen 3D-Objekten. Die Beschreibungen konzentrieren sich auf die Geometrie. Die Formen sind auf 21 Objektkategorien und ein Raster von 20 mal 20 mal 20 Einheiten begrenzt.
Stabilitätsprüfung mit Rücksprung
Bei jedem neuen Stein prüft die Software das Format, die Grenzen des Bauraums und mögliche Überschneidungen mit vorhandenen Steinen. Die aufwendigere Stabilitätsanalyse folgt erst für die fertige Konstruktion. Das ist eine bewusste Entscheidung: Ein teilweise gebautes Modell kann instabil sein, obwohl der vollständige Aufbau hält. Eine vollständige Physikprüfung nach jedem Stein würde solche Entwürfe zu früh ausschließen.
Für die Stabilitätsanalyse berechnet das Team mit Gurobi ein Kräftegleichgewicht und die Belastungen an den Verbindungen. Scheitert die Konstruktion, geht die Generierung bis vor den ersten instabilen Stein zurück und setzt von dort erneut an. Im Versuch waren bis zu 100 solcher Rücksprünge erlaubt. Der Median lag bei zwei Rücksprüngen und 40,8 Sekunden pro Modell. Die gemeldete Erfolgsquote gilt für diesen Versuch, nicht als Garantie für beliebige Beschreibungen.
Zusätzlich demonstriert das Paper den Aufbau ausgewählter Entwürfe von Hand und mit zwei Roboterarmen. Eine ergänzende Texturierung kann Oberflächen gestalten oder jedem Stein eine einheitliche Farbe zuweisen. Verwendet werden acht übliche, quaderförmige Steingrößen; Schrägsteine und andere Formen gehören zu den genannten Erweiterungsplänen.
Code, Modellgewichte und LDraw-Ausgabe
Die Dokumentation des am 9. Mai veröffentlichten Code-Stands beschreibt die Python-Installation, die Modellgewichte und den Datenexport. Das Inferenzskript erzeugt eine gerenderte Vorschau, eine Textdatei mit der Steinfolge und eine LDraw-Datei für kompatible Modellierungsprogramme. Für die Stabilitätsanalyse ist in diesem Stand eine Gurobi-Lizenz erforderlich; der Zugriff auf das Llama-Basismodell muss separat freigeschaltet werden.
Für die Entwicklung von 3D-Inhalten untersucht das Projekt damit eine eng begrenzte, überprüfbare Form der Geometrieerzeugung. Auch die Rekonstruktion dreidimensionaler Szenen aus Videomaterial wird als Werkzeug für virtuelle Produktion erforscht. Eine fertige Anbindung von LegoGPT an eine Spiele-Engine stellen Paper und Code-Dokumentation nicht vor.