NVIDIA hat am 11. Januar 2019 ein Robotik-Forschungslabor nahe der University of Washington in Seattle vorgestellt. Dieter Fox, Forschungsleiter bei NVIDIA und Professor an der Universität, leitet das Labor. Fast 50 Wissenschaftler, Gastforscher und studentische Praktikanten sollen dort an integrierten Systemen arbeiten, die komplexe Greifaufgaben neben Menschen ausführen können.
Bei der Eröffnung demonstrierte das Team einen mobilen Manipulator in einer Küche. Er erkennt Gegenstände, verfolgt die Stellung von Türen und Schubladen und öffnet sie, um Objekte zu greifen. Das offizielle Video des Labors zeigt den Versuchsaufbau.
Trainingsdaten aus der simulierten Küche
Eine virtuelle Nachbildung der Küche dient dazu, die Manipulation zu testen und die Objekterkennung zu trainieren. Die Simulationsplattform NVIDIA Isaac bildet dafür Aussehen, Kräfte und Kontakte der Gegenstände ab. Nach Angaben des Unternehmens benötigt das Erkennungsnetz durch diese synthetischen Trainingsdaten keine manuell beschrifteten Aufnahmen aus der realen Küche.
DART verfolgt mit Tiefenkameras starre und bewegliche Objekte. Pose-CNN schätzt Position und Orientierung bekannter Gegenstände aus normalen Kamerabildern. Riemannian Motion Policies kombinieren einfache Bewegungen zu reaktiven Steuerbefehlen für den Roboterarm. Die Jetson-Plattform übernimmt die Navigation; TITAN-GPUs führen die Verarbeitung und Manipulation in Echtzeit aus. Das Wahrnehmungssystem wurde mit PyTorch und cuDNN trainiert.