Wesentliche Bestandteile eines wirklich immersiven Erlebnisses

Jon Gabay für Mouser Electronics

Die Technologie der immersiven Realität hat lange gebraucht, um sich durchzusetzen. So haben beispielsweise Fortschritte bei kleinen, stromsparenden, hochauflösenden Bildschirmen eine präzise und nahtlose stereoskopische Darstellung über den gesamten Bereich der Augenbewegungen hinweg ermöglicht. Schnellere, präzisere Drei-Achsen-Beschleunigungssensoren ermöglichen es schnelleren Prozessoren, Bilder in Pseudo-Echtzeit zu rendern; schnell genug, um die Flimmerverschmelzungsrate des Auges zu übertreffen und eine realistische Panoramaszene echt erscheinen zu lassen, während der Benutzer seinen Kopf bewegt.

Einige Herausforderungen wurden bereits gemeistert, doch es sind noch einige weitere zu bewältigen, bevor diese Technologie gut und kostengünstig genug ist, um wirklich den Gaming-Markt zu erobern, ganz zu schweigen von ihrem Einsatz in Industrie, Wirtschaft, Militär, Strafverfolgung und anderen Bereichen.

Ganz gleich, ob es sich um erweiterte Realität (XR), räumliche Datenverarbeitung, Hologramme oder volumetrische Daten handelt, die Menschen neigen dazu, bestimmte Erwartungen an das Erlebnis zu stellen. Wenn Menschen zum ersten Mal ein VR-Headset aufsetzen, sind viele begeistert, viele aber auch enttäuscht. Grafik, Sound und Head-Tracking sind zwar besser, aber der Mensch hat eine Reihe von Sinnen, von denen nur einige in einer immersiven Umgebung genutzt werden können. Machen wir uns nichts vor: Selbst heute sind wir noch nicht ganz auf dem Niveau von „Avatar“.

Dennoch haben die Menschen die Hoffnung auf Versprechen der immersiven Technologie noch nicht aufgegeben und verlassen sich darauf, dass die Ingenieure ihre Erwartungen erfüllen. Nahezu alle denkbaren Branchen sind optimistisch, was die Vorteile der immersiven Technologie angeht, so dass der Markt für diese Technologie so groß ist wie die Vorstellungskraft eines Ingenieurs. Ganz klar, es ist eine Herausforderung, die Erwartungen der Menschen zu erfüllen, aber das ist nun mal die Aufgabe von Ingenieuren: Es geht um das Lösen von Problemen. Lassen Sie uns untersuchen, welche Arten von Herausforderungen Ingenieure bei der Entwicklung zukünftiger immersiver Erlebnisse zu bewältigen haben.

Um ein wirklich immersives Erlebnis zu schaffen, braucht man Sensoren, maschinelles Sehen, 3D-Scannen, Energieverwaltung und Hunderte von verschiedenen Komponenten im Gerät selbst. In einigen Fällen, z. B. bei volumetrischen Videos, umgeben Hunderte von Sensoren und Kameras das Geschehen. Ist also die Technologie selbst die Herausforderung?  

Ja, die technologischen Herausforderungen sind nach wie vor ein Thema, und viele kluge Ingenieure gehen sie an. Der Schlüssel ist die Schaffung eines authentischen Erlebnisses. Real Video kann zum Beispiel mit digitalen Überlagerungen von gerenderten Objekten, entweder statisch oder in Bewegung, verwendet werden. Die Videoerfassungstechnologie hat sich der Herausforderung gestellt, und die Videodisplaytechnologie hat sich verbessert, um der Herausforderung gerecht zu werden.

Für ein Virtual-Reality-Spiel oder einen technischen Rundgang mit Hilfe eines digitalen Zwillings ist nicht unbedingt die höchste Auflösung erforderlich. In diesen Fällen kann eine geringere Auflösung dank der Gestaltgesetze, die besagen, dass wir ein Objekt als gleichmäßig fortlaufend wahrnehmen, wenn es nur eine kleine Unterbrechung aufweist – völlig ausreichend sein. Aber wenn wir in einen Operationssaal gerollt werden, um uns einer komplizierten Gehirnoperation zu unterziehen, ist es wahrscheinlich besser, wenn unsere Ärzte zuvor an einem möglichst realistischen virtuellen Schädel üben können. Doch selbst wenn eine hohe Auflösung nicht notwendig ist, könnte sie dazu beitragen, Marktanteile zu gewinnen.

In vielen Fällen ist die Auflösung nicht so wichtig wie die Latenzzeit. Die Latenzzeit zwischen Bewegung und Photonen ist eine der Grenzen, die die Ingenieure zu überwinden versuchen. Im Idealfall soll die räumliche Erfahrung des Nutzers nicht von der Realität zu unterscheiden sein. Experten zufolge ist dafür eine Verzögerung von weniger als 15 ms erforderlich. Alles, was darüber hinausgeht, ist für den Benutzer frustrierend, kann aber je nach Anwendungsfall auch zu Übelkeit oder potenziellen Gefahren führen. Wenn die Probleme mit der Latenzzeit nicht gelöst werden können, wird die betroffene Hardware wahrscheinlich auf der Mülldeponie landen.

Zwar erreichen die handelsüblichen Sensorsysteme noch nicht ganz die 15-ms-Rate, aber es gibt immer mehr Verbesserungen. Oculus beschloss, nicht darauf zu warten, dass die Komponentenhersteller das herausfinden, und baute einen Sensor, der Abtastraten von bis zu 1000 Hz und eine Verzögerung von nur 2 ms unterstützt. Sie haben bewiesen, dass es möglich ist, und so ist zu hoffen, dass sie zum Wegbereiter einer neuen Generation von Geräten werden.

Die Rechenleistung in Verbindung mit der Kommunikationsgeschwindigkeit ist entscheidend. Bei einer in sich geschlossenen Einheit, die die wesentlichen Verarbeitungs-Engines enthält, ist der Platzbedarf entscheidend. Es gibt viele hochwertige Bauelemente, die auf immer kleinerem Raum untergebracht werden müssen. Wenn beispielsweise ein VR-Headset mit Kabeln an einen Computer gebunden ist, kann dies den Zweck der Bewegungsfreiheit beim Spielen zunichte machen.

Dies gilt jedoch nicht für jede Applikation. Bei der Nutzung von Virtual, Augmented und Extended Reality in der Ausbildung oder im Unterricht kann beispielsweise die Verkabelung zu einem leistungsfähigeren Computer an einem Schreibtisch genutzt werden. Hier sind die Studierenden nicht mobil, so dass die Kabel nicht im Weg sind.

USB 3.0 mit einer Bandbreite von gut 5 GB/s ist eine hervorragende Mehrzweckschnittstelle und Plug-and-Play. Wie beim ursprünglichen USB 2.0 kann die Größe der Anschlüsse in zukünftigen Versionen schrumpfen, wodurch die Konnektivität weniger aufdringlich wird. Da USB ein weit verbreiteter Standard ist, der in so viele Prozessoren integriert ist, kann seine Verwendung in diesem Fall Kosten und Entwicklungszeit reduzieren.

Der MIPI CSI-2-Standard (Mobile Industry Processor Interface) ist eine der am häufigsten verwendeten Schnittstellen für kopfgetragene VR-Geräte. Darüber hinaus ist die hohe MIPI-Bandbreite von 6 GB/s schneller als USB 3.0. Und schließlich verbraucht CSI-2 dank seiner Multicore-Prozessoren nur wenige Ressourcen der CPU.

Ein weiterer Vorteil einer kabelgebundenen Schnittstelle ist die Möglichkeit, die Stromversorgung zu regeln. Immer höhere Bildschirmauflösungen und Bildwiederholfrequenzen führen zu einem hohen Stromverbrauch von Displays. Oculus teilt uns auf seiner Entwicklerseite mit, dass ein Regelungsprozess auf dem Gerät „einen internen Temperatursensor überwacht und versucht, korrigierend einzugreifen, wenn die Temperatur über bestimmte Werte steigt, um Fehlfunktionen oder gefährlich heiße Oberflächentemperaturen zu verhindern“. Diese Abhilfemaßnahme besteht darin, die Taktraten zu senken. So kann beispielsweise durch den Wegfall der wärmeerzeugenden Spannungsregelung im Headset die Gesamttemperatur gesenkt werden.

Während der optischen und visuellen Klarheit und Kontinuität viel Aufmerksamkeit gewidmet wird, ist der Audioaspekt der immersiven Technologie ebenfalls sehr wichtig für das Erlebnis. Wie die visuelle Darstellung muss sich auch der Ton auf das Head-Tracking und die Positionserkennung verlassen, um den Surround-Sound-Aspekt des immersiven Erlebnisses zu verändern.

Zwar ist eine hohe Audioleistung nicht erforderlich, da sich die Lautsprecher und Schallquellen relativ nahe am Ohr befinden, doch sind geringe Größe, geringe Verzerrung, niedrige Spannung und Effizienz erforderlich. Ein Beispiel für einen gut geeigneten Verstärker für den immersiven Einsatz ist der Maxim MAX98360A/B/C/D Digital-Klasse-D-Verstärker. Diese sehr kleinen, quadratischen WLP-Geräte im Format 3,69 mm leisten bis zu 3,2 Watt an einer 4-Ohm-Last bei 5 V.

Der niedrige Ruhestrom von 2,2 mA gewährleistet eine lange Batterielebensdauer bei Nichtgebrauch, und diese Bauteile weisen einen Wirkungsgrad von 92 % mit einem niedrigen Klirrfaktor von 0,009 % bei 1 kHz auf. Die auf der Klasse-D-Schalttechnik basierende Edge-Rate-Steuerungstechnologie macht externe Filter überflüssig, und die Bauteile verfügen über eine Schaltung zur Reduzierung von Klick- und Knackgeräuschen.

Es werden Abtastraten von 8 KHz bis 96 KHz unterstützt, und die Datenwörter können eine Auflösung von 16, 24 und 32 Bit haben, um den Dynamikbereich zu vergrößern. Diese Bauteile können zwar an 1,2- und 1,8-Volt-Logik angeschlossen werden, vertragen aber auch 5,5-V-E/A und eliminieren Level-Shifting für die logische Steuerung.

Eine einfache I-Squared-S-Schnittstelle hält die Anzahl der Pins niedrig (9 Pins) und vereinfacht die Anbindung an digitale Steuerschaltungen (Abbildung 3). Audio-Entwicklungstools wie der MAX98360AEVSYS#FCQFN bieten einsatzbereite Testplattformen für eine schnelle und einfache Evaluierung.