Varjo hat zusammen mit Volvo und Unity eine Demo vorgestellt, die laut Hersteller als erste fotorealistische Mixed-Reality-Darstellung auf Basis von Video-Pass-Through gilt. Das Unity-Blog dokumentiert das Automobilprojekt im Detail samt technischem Parcours: Die Entwicklung begann Anfang 2018, die erste öffentliche Vorführung folgte auf der Augmented World Expo 2019 in Santa Clara.
Anders als optische See-Through-Brillen zeichnet das Varjo XR-1 Developer Edition die reale Umgebung über Kameras an der Vorderseite auf und mischt sie in Echtzeit mit virtuellen Inhalten. Die Latenz der Kamerabilder gibt Varjo mit unter zehn Millisekunden an, die Darstellung läuft mit 90 Hz und in der vom Hersteller beworbenen Human-Eye-Resolution. Der Vorteil gegenüber transparenten Anzeigen: Virtuelle Objekte lassen sich opak und damit ohne holografischen Schleier darstellen.
Den Videoausschnitt aus dem Headset hat Varjo ungekürzt veröffentlicht, das XR-1-Video zeigt den Übergang von realer Umgebung über Mixed Reality in reines VR und zurück.
Volvo testet Cockpit-Elemente im echten Fahrzeug
Die Zusammenarbeit mit Volvo startete im Frühjahr 2018 mit einer konkreten Vorgabe aus dem Automobilbau: Der Konzern suchte ein XR-Headset, um Head-up-Displays, neue Materialien und Infotainment-Oberflächen künftiger Modelle in einem realen Auto auf einer echten Teststrecke zu erproben. Die Anforderungen an Ablesbarkeit und Latenz trieben laut Varjo die Produktentwicklung des XR-1 maßgeblich voran.
Als Engine diente Unity. Varjo begründete die Wahl mit der einfachen Integration eigener C++-Bibliotheken: Über das Varjo-Plug-in ließ sich der leere Hintergrund einer VR-Szene durch das Video-Pass-Through-Signal ersetzen, wodurch virtuelle Objekte schnell in der realen Umgebung sichtbar wurden. Entwickler und Kunde arbeiteten dabei parallel an Durchsatz und Demo.
Sieben Millionen Polygone für den XC60
In der Demo baut sich ein virtueller Volvo XC60 vor dem Betrachter auf, zuerst als blauer Wireframe, dann als opakes Modell mit Schattenwurf auf dem realen Boden. Für die Reflexionen nutzte das Team eine HDR-Cube-Map, die am Aufstellungsort aufgenommen wurde und auch die Umgebungsbeleuchtung speist. Das von Volvo gelieferte Fahrzeugmodell umfasst rund 7 Millionen Polygone und etwa 150 4K-Texturen; Volvo-Mitarbeiter Mattias Wilkenmalm schrieb eigene Autolack-Shader, die Varjo für die Übergänge anpasste.
Für die Übergänge zwischen realer und virtueller Welt setzte Volvo-Manager Timotei Ghiurau auf World-Space-3D-Noise mit Alpha-Cutouts, abrufbar aus Unitys Keijiro-Repository. Der Reaktionswurf des Autos wurde in eine eigene Ebene ausgelagert und mit 30 Bildern pro Sekunde gerendert, während die Szene selbst deutlich schneller läuft. Im letzten Demoschritt verschwindet die reale Umgebung und weicht einer virtuellen venezianischen Gasse, bevor der Nutzer in die Realität zurückkehrt und das Auto von außen begutachtet.
Präsentation auf der Unite Copenhagen
Angekündigt war die Demo zudem für die Unite Europe vom 24. bis 26. September 2019 im Bella Center in Kopenhagen: Volvo und Varjo wollten das Erlebnis dort vor Ort zeigen und in mehreren Sessions über Echtzeit-3D im Automobilbau, die Entwicklung von VR- und MR-Erfahrungen mit VR-1 und XR-1 sowie über künftige Mobilität sprechen. Kommerziell eingebettet ist das Projekt in Unitys Industrial Collection für professionelle XR-Anwendungen.