NVIDIA hat am 9. März 2017 eine Demonstration der RealityCapture-Anbindung an den Unity-Editor veröffentlicht. Das Beispiel stammt aus dem Photogrammetrie-Vortrag der Game Developers Conference 2017. Lars Bishop und Chris Cowan von NVIDIA präsentierten dort gemeinsam mit Michal Jančošek von Capturing Reality am 1. März ihre Produktionsverfahren.
Die vollständigen Vortragsunterlagen mit Erläuterungen beschreiben den Weg von überlappenden Fotos zu einem rekonstruierten Modell. Für ein Spiel endet die Arbeit nicht mit dem möglichst dichten Mesh: Geometrie, UV-Koordinaten und Texturen müssen für die Echtzeitdarstellung aufbereitet werden.
Retopologie und Texturen bleiben eigene Arbeitsschritte
Cowan empfiehlt, Beleuchtung und Schatten aus den aufgenommenen Farbtexturen zu entfernen. Andernfalls bringt ein Objekt die Lichtverhältnisse seines Aufnahmeorts in eine Szene mit anderer Beleuchtung mit. Nach der Rekonstruktion folgen unter anderem Retopologie, eine geeignete UV-Aufteilung und das Übertragen von Oberflächendetails auf das reduzierte Modell.
Die Unterlagen unterscheiden vereinfachte Geometrie von gebackenen Detailkarten. Für Normalmaps oder andere zusätzliche Karten nennen die Referenten externe Werkzeuge. Ein detailliertes Scanmodell ist deshalb nicht automatisch ein fertiges Spiel-Asset. Angekündigte Funktionen auf einer Wunschliste werden dabei nicht als bereits vorhandene RealityCapture-Funktionen behandelt.
Rekonstruktion im Hintergrund des Unity-Editors
Bishops Beispiel koppelt das C++-SDK von RealityCapture über eine Interop-DLL mit Unitys C#-Code. Die Rekonstruktion läuft in einem separaten Worker-Thread. Erst wenn ein Ergebnis vorliegt, wird die Arbeit zur Erstellung von Unity-Geometrie und Texturen an den Hauptthread übergeben. Damit soll die Editor-Oberfläche während der Berechnung bedienbar bleiben.
Das Video ist geschnitten. Seine Laufzeit von gut zwei Minuten ist deshalb kein Messwert für die vollständige Rekonstruktionsdauer. Die Unterlagen kündigten eine öffentliche Freigabe des SDK und Beispielcodes erst für einen späteren Zeitpunkt an; sie belegen keinen am 1. März bereits allgemein verfügbaren Unity-Produktrelease.
Rückmeldung bereits während der Fotoaufnahme
Ein zweites Beispiel, der Photogrammetrie-Live-Visualizer, verbindet eine Kamera drahtlos mit einem Notebook. Neue Fotos landen automatisch in einem überwachten Verzeichnis. Kamerapositionen und die sparse Punktwolke werden aktualisiert, damit Artists die erfassten Bereiche schon am Aufnahmeort prüfen können. Diese Vorschau ist nicht mit einem vollständig rekonstruierten und aufbereiteten Echtzeitmodell gleichzusetzen.
Das offizielle Konferenzarchiv führt die Session im Bereich Visual Arts. Der Beitrag dokumentiert die Vorführung und die am 9. März veröffentlichten Originalvideos. Spätere Softwareversionen oder Lizenzmodelle werden nicht in den damaligen Stand zurückprojiziert.