Bei der immersiven Technologie dreht sich alles um die Technik

Oder nicht?

Traci Browne für Mouser Electronics

(Quelle: ImageFlow/Shutterstock.com)

Ganz gleich, ob es sich um erweiterte Realität (XR), räumliche Datenverarbeitung, Hologramme oder volumetrische Daten handelt, die Menschen neigen dazu, bestimmte Erwartungen an das Erlebnis zu stellen. Als ich vor einigen Jahren zum ersten Mal ein VR-Headset aufsetzte, war ich mir nicht sicher, was mich erwarten würde, aber ich weiß, dass ich enttäuscht war. Machen wir uns nichts vor: Selbst heute sind wir noch nicht ganz auf dem Niveau von „Avatar“.

Dennoch haben die Menschen die Hoffnung auf Versprechen der immersiven Technologie noch nicht aufgegeben und verlassen sich darauf, dass die Ingenieure ihre Erwartungen erfüllen. Nahezu alle denkbaren Branchen sind optimistisch, was die Vorteile der immersiven Technologie angeht, so dass der Markt für diese Technologie so groß ist wie die Vorstellungskraft eines Ingenieurs. Ganz klar, es ist eine Herausforderung, die Erwartungen der Menschen zu erfüllen, aber so ist das Leben eines Ingenieurs: Es geht um das Lösen von Herausforderungen. Doch um welche besondere Herausforderung handelt es sich?

Um ein wirklich immersives Erlebnis zu schaffen, braucht man Sensoren, maschinelles Sehen, 3D-Scannen, Energieverwaltung und Hunderte von verschiedenen Komponenten im Gerät selbst. In einigen Fällen, z. B. bei volumetrischen Videos, umgeben Hunderte von Sensoren und Kameras das Geschehen. Ist also die Technologie selbst die Herausforderung?             

Nicht ganz, sagt der Mitbegründer von HaptX und Professor für Biomedizinische Technik an der Cal Poly, Dr. Robert Crockett. Stattdessen glaubt er, dass die Ingenieure, die im Bereich der immersiven Technologien erfolgreich sein werden, Systemdenker sind. Mit leicht verfügbaren, hochwertigen Standardkomponenten können sich die Ingenieure darauf konzentrieren, all diese Komponenten so zu verschmelzen, dass sie als System zusammenarbeiten.

Das bedeutet, dass Sie einen Großteil Ihrer Bemühungen in das Pre-Design stecken müssen, z. B. in die Überlegungen zu den Anforderungen und zu dem, was für den Kunden wirklich wichtig ist, um dann das System zu entwickeln und herauszufinden, wo es versagen könnte. Für HaptX bedeutete dieser Prozess die Entwicklung zahlreicher Prototypen, um die technischen Herausforderungen der Verschmelzung all dieser Komponenten zu meistern. Im nächsten Schritt wurden sehr viele Tests und Iterationen durchgeführt, bis das Team das Gefühl hatte, ein zuverlässiges System entwickelt zu haben. Wie der Name schon sagt, handelt es sich bei diesem System um einen Handschuh, der die virtuelle Realität um ein realistisches „Touch“-Erlebnis erweitert.

Dabei geht es bei der Performance um genau diese authentische Erfahrung. Man kann wohl behaupten, das alle Komponenten, die man braucht, wahrscheinlich weithin verfügbar sind, aber die Wahl des zu verwendenden Bauteils hängt oft von der jeweiligen Applikation ab.

Wenn wir beispielsweise über ein realistisches visuelles Erlebnis in der VR nachdenken, bedeutet das, dass man die höchste verfügbare Auflösung für ein VR-Headset bereitstellen muss? Nun, das kommt darauf an.

Für ein Virtual-Reality-Spiel oder einen technischen Rundgang mit Hilfe eines digitalen Zwillings ist nicht unbedingt die höchste Auflösung erforderlich. In diesen Fällen kann eine geringere Auflösung dank des Gesetzes der Geschlossenheit, dem Gestaltgesetz, durchaus sinnvoll sein. Dieses Gesetz besagt, dass wir, wenn es in einem Objekt eine ausreichend kleine Unterbrechung gibt, das Objekt als eine Fortsetzung eines gleichmäßigen Musters wahrnehmen. Aber wenn wir in einen Operationssaal gerollt werden, um uns einer komplizierten Gehirnoperation zu unterziehen, ist es wahrscheinlich besser, wenn unsere Ärzte zuvor an einem möglichst realistischen virtuellen Schädel üben können. Doch selbst wenn eine hohe Auflösung nicht notwendig ist, könnte sie dazu beitragen, Marktanteile zu gewinnen.

In vielen Fällen ist die Auflösung nicht so wichtig wie die Latenzzeit. Die Latenzzeit zwischen Bewegung und Photonen ist eine der Grenzen, die die Ingenieure zu überwinden versuchen. Im Idealfall soll die räumliche Erfahrung des Nutzers nicht von der Realität zu unterscheiden sein. Experten zufolge ist dafür eine Verzögerung von weniger als 15 ms erforderlich. Alles, was darüber hinausgeht, ist für den Benutzer frustrierend, kann aber je nach Anwendungsfall auch zu Übelkeit oder potenziellen Gefahren führen. Wenn die Probleme mit der Latenzzeit nicht gelöst werden können, wird die betroffene Hardware wahrscheinlich auf der Mülldeponie landen.

Zwar erreichen die handelsüblichen Sensorsysteme noch nicht ganz die 15-ms-Rate, aber es gibt immer mehr Verbesserungen. Oculus beschloss, nicht darauf zu warten, dass die Komponentenhersteller das herausfinden, und baute einen Sensor, der Abtastraten von bis zu 1.000 Hz und eine Verzögerung von nur 2 ms unterstützt. Sie haben bewiesen, dass es möglich ist, und so ist zu hoffen, dass sie zum Wegbereiter einer neuen Generation von Geräten werden.

Wie Crockett bereits erwähnte, bestehen diese Systeme aus Hunderten von Bauteilen, und man hat nur sehr wenig Platz zum Arbeiten. Wenn man beispielsweise mit Extended Reality (XR) arbeitet, ist die Wahl der eingebetteten Bildverarbeitungsschnittstelle eine wichtige Entscheidung, die man aber möglichst einfach halten sollte, da nur wenig Platz für die Verkabelung bleibt.

Auch wenn USB 3.0 mit einer Bandbreite von gut 5 GB/s eine hervorragende Mehrzweckschnittstelle und im Grunde genommen Plug-and-Play ist, nehmen die großen Anschlüsse und die starre Verkabelung viel Platz in Anspruch. Andererseits werden dadurch wahrscheinlich auch Kosten und Entwicklungszeit gesenkt. Dieser Umstand könnte der Grund dafür sein, dass der MIPI CSI-2-Standard (Mobile Industry Processor Interface) eine der am häufigsten genutzten Schnittstellen in kopfgetragenen VR-Geräten ist. Darüber hinaus ist die hohe MIPI-Bandbreite von 6 GB/s schneller als USB 3.0. Und schließlich verbraucht CSI-2 dank seiner Multicore-Prozessoren nur wenige Ressourcen der CPU.

Bei der Herstellung von Geräten, die von den Nutzern getragen werden, muss auch auf die Leistungsregelung geachtet werden. Immer höhere Bildschirmauflösungen und Bildwiederholfrequenzen führen zu einem hohen Stromverbrauch von Displays. Oculus teilt uns auf seiner Entwicklerseite mit, dass ein Regelungsprozess auf dem Gerät „einen internen Temperatursensor überwacht und versucht, korrigierend einzugreifen, wenn die Temperatur über bestimmte Werte steigt, um Fehlfunktionen oder gefährlich heiße Oberflächentemperaturen zu verhindern. Diese Abhilfemaßnahme besteht darin, die Taktraten zu senken.“ Oculus weist darauf hin, dass jede Optimierung sinnlos ist, da „jeder Vorgang den Akku belastet und das Gerät aufheizt“. 

Während all diese Funktionen für das immersive Erlebnis wichtig sind, fehlt noch ein wichtiges Element: die Haptik. Diese Schlüsselkomponente zur Schaffung einer glaubwürdigen Interaktion mit Computern bringt uns zurück zu der Fähigkeit, eine Interaktion zu spüren – und Haptik ermöglicht genau dies. Die Haptik simuliert Empfindungen, die jemand in der realen Welt bei der Interaktion mit einem physischen Objekt erleben würde. Deshalb rumpelt Ihr Game-Controller bei einem Zusammenstoß und Ihr Handy vibriert, wenn Sie eine Textnachricht erhalten. Diese Vibration wird durch exzentrische rotierende Massen (ERM), lineare Resonanzaktoren (LRA) und sogar piezoelektrische Aktoren erreicht.

Rumpeln und Vibrieren nennt Crockett hingegen symbolische Haptik. Sie bieten nur ein stellvertretendes Erlebnis. Ingenieure streben nach einem authentischen Gefühl, oder so genau wie virtuell möglich, was er als natürliche Haptik bezeichnet.

Die natürliche Haptik gibt dem Benutzer das Gefühl, das Original in der Hand zu halten. Das Force-Feedback, also das Gefühl der Kraft auf das Lenkrad in einer Autosimulation, ist beispielsweise der natürlichen Haptik näher. Aber was macht man, wenn man ein Objekt nicht physisch berührt, es sich aber so anfühlt, als ob man es berührt?

Als Jake Ruben, der Partner von Crockett, mit seiner Vision einer natürlichen Haptik zu ihm kam, begannen sie, sich mit dem Problem auseinanderzusetzen und kamen zu einer Erkenntnis: Entscheidend für ein echtes immersives Gaming-Erlebnis ist, dass man realistische Bewegungen in den Händen spürt, doch dieses Ziel ist auch am schwierigsten zu erreichen.

Warum sollte man sich darauf konzentrieren, ein realistisches Gefühl von etwas auf der Brust zu erzeugen, wenn Menschen die meisten alltäglichen Aktivitäten mit ihren Händen erledigen? Es ist sinnvoll, zuerst diesen Code zu knacken und dann zu anderen haptischen Erfahrungen überzugehen.

Um zu zeigen, wie wichtig der Tastsinn ist, verwendete Crockett das Beispiel eines Flugzeugsimulators. Piloten müssen viele Schalter umlegen, wenn sie ein Flugzeug vom Boden abheben, in der Luft bleiben und schließlich landen wollen. Sie haben ihre Augen auf mehrere Anzeigen und Bedienfelder gerichtet und sehen normalerweise nicht auf, um einen Schalter umzulegen. Stattdessen wissen sie durch ihr Muskelgedächtnis, wo er sich befindet. Der Aufbau des Muskelgedächtnisses ist ein häufiger Anwendungsfall für immersive Technologien, und in diesem Fall ist eine natürliche Haptik erforderlich. Aber genauso wie man den virtuellen Schalter genau an der richtigen Stelle anbringen muss, soll sich das Umlegen auch genauso anfühlen wie in der Realität. Zu sagen, dass dies nicht einfach zu bewerkstelligen ist, wäre eine Untertreibung.

Um ein haptische Feedback zu erzielen, hat sich HaptX für die Verwendung von Pneumatik entschieden. Jeder Handschuh hat mehr als 130 winzig kleine Ballons, sogenannte Taktoren, die sich mit Luft aufblasen und in die Haut drücken. Diese Taktoren bilden genau das Muster nach, das man beim Berühren eines Schalters in einem Cockpit spüren würde. Außerdem soll der Benutzer das Gefühl haben, dass er etwas Festes berührt. Um den Benutzer physisch daran zu hindern, die Hand direkt durch das Objekt zu stecken, wurde eine Reihe von Sehnen auf der Rückseite des Handschuhs angebracht. Diese Fähigkeit, die Hand zu steuern und das richtige Muster mit der richtigen Verschiebung in der Haut zu fühlen, gibt dem Benutzer ein natürliches Gefühl der Interaktion mit einem Objekt, das nicht existiert.

Selbst Crockett gibt zu, dass kein Ingenieur, der bei klarem Verstand ist, ein System entwickeln würde, das Hunderte von winzigen Einzelschläuchen benötigt, von denen jeder zu einem Ballon führt und jeder mit einer Reihe von proportionalen Steuerventilen verbunden ist. Es war eine unglaublich schwierige technische Herausforderung, deren Lösung fast ein Jahrzehnt gedauert hat. Dennoch ist es schließlich gelungen, ein praktisches System zu entwickeln, das ohne exotische Technik auskam.

Ihre Lösung ist ein hervorragendes Beispiel für das bereits erwähnte Systemdenken, und deshalb sucht ein Unternehmen wie HaptX Ingenieure, die Systeme verstehen und auf hohem Niveau denken. Das heißt, sie denken nicht nur darüber nach, was funktioniert, sondern was in Kombination ein umfassenderes Design ergibt, das zuverlässig und robust ist und die Anforderungen erfüllt.

Wenn Sie nun das Gefühl haben, dass immersive Technologien mehr als nur gute technische Fähigkeiten erfordert, dann haben Sie wahrscheinlich Recht. Es ist sicherlich hilfreich, Informatik, Optik und sogar die menschliche Wahrnehmung zu verstehen. Viele Experten sind jedoch der Meinung, dass eine noch breitere Palette von Fähigkeiten erforderlich ist.

Kenntnisse in Psychologie, Physiologie, Biologie, Kinesiologie – nun ja, sagen wir einfach, eine Menge 'ologien – kommen ins Spiel, wenn es darum geht, benutzerspezifische Erfahrungen zu gestalten. Das ist der Punkt, an dem es knifflig wird, denn keine zwei Realitäten sind gleich. Alter, Geschlecht, Körperbau, Nationalität, Gesundheit, wirtschaftlicher Status, Fähigkeiten und vieles mehr prägen unsere Lebenserfahrung.

So wichtig diese inklusive Erfahrung auch ist: Bei der Entwicklung der Hardware und der Geräte, die diese Erfahrung ermöglichen, sollten die Grundsätze des universellen Designs berücksichtigt werden. Als ein ursprünglich in der Architektur angewandtes Konzept hat sich das universelle Design in fast allen Disziplinen verbreitet. Es geht darum, die Bedürfnisse aller Menschen zu erfüllen, unabhängig von ihrem Alter, ihrer Größe, ihren Fähigkeiten oder ihrer kognitiven Erfahrung.

In einem Schriftstück, das auf einem Workshop über Mixed Reality und Barrierefreiheit vorgestellt wurde, vertraten Microsoft-Forscher die Ansicht, dass „die Berücksichtigung der Barrierefreiheit als zentraler Bestandteil des iterativen Designprozesses eines Systems nicht nur für die mehr als eine Milliarde Menschen weltweit, die irgendeine Art von Behinderung haben, sondern für alle Benutzer wertvoll ist, da jeder situationsbedingte Behinderungen in Abhängigkeit von seinem Kontext erlebt“.

Als Beispiel für ein verbesserungswürdiges Gerät nannten die Forscher das Head-Mounted-Display. Die meisten dieser Geräte sind nicht nur ziemlich schwer, sondern auch nicht ideal für Brillenträger, Hörgeräteträger oder Träger von Cochlea-Implantaten. Hinzu kommen der Bewegungsumfang und die Geschicklichkeit, die allein zum Festziehen des Headsets erforderlich sind. All diese Faktoren können die Nutzung bei einer großen Zahl potenzieller Benutzer einschränken.

Ingenieure sind in der Lage, immersive Technologie inklusiver zu gestalten, indem sie einfach universelles Design in ihr Systemdenken einbeziehen. Die immersive Technologie befindet sich nunmehr an der Schwelle, an der viele Technologien stehen, bevor sie auf breiter Basis angenommen werden. Sie nähert sich der Reife, ist aber noch nicht weit verbreitet. Die Nutzer hoffen immer noch darauf, dass ihre Erfahrungen ihren Erwartungen entsprechen werden. Daher ist jetzt der perfekte Zeitpunkt, um die Technologie zugänglich zu gestalten.