Die immersive Technologie macht aus Zuschauern Teilnehmer

Diese Technologie verändert die Art und Weise, wie wir mit der Welt interagieren

Von Jon Gabay für Mouser Electronics

(Quelle: pickingpok/Shutterstock.com)

Schon vor dem gesprochenen Wort haben die Menschen Gesten benutzt und verstanden, um Informationen zu übermitteln. Zeichenkohle und schließlich Stifte und Bleistifte sorgten für mehr Klarheit und Genauigkeit, wodurch wir zum ersten Mal in der Lage waren, Wissen, Nachrichten und Erfahrungen in schriftlicher und illustrierter Form festzuhalten. Aber unsere Geschichte der Kreativität und des Ausdrucks ist damit noch lange nicht zu Ende. Denken Sie nur daran, was uns zur Verfügung steht, um unsere Erfahrungen und unser Wissen weiterzugeben – von Audio- und Videofunktionen bis hin zu interaktiven Kommunikationsformen.

Die Idee, in ein technologisch verändertes persönliches Umfeld einzutauchen, ist nicht neu. Man könnte sogar behaupten, dass die Verwendung von Stereo-Kopfhörern bereits eine Form der immersiven Technologie darstellt. Wenn Sie die Augen schließen, können Sie sich fast in die Natur hineinversetzen, z. B. in die Geräusche des Waldes und die Tiere, die Sie umgeben. Obwohl Videos und Filme eine teilweise immersive Umgebung bieten, ist der Betrachter immer noch durch die Realität distanziert. Doch die Fortschritte in der Systementwicklung, der Displaytechnologie, der Audiotechnologie und der Mixed-Signal-Digitaltechnologie ermöglichen es uns, von passiven Zuschauern, die mit Informationen versorgt werden, zu aktiven Teilnehmern zu werden, die an deren Erstellung teilhaben.

Das Video-Headset war der erste Versuch einer visuellen Immersion. Frühe Produkte wie der Stunt Master waren nichts anderes als niedrig auflösende Videobildschirme, die rund um die Augen getragen wurden (Abbildung 1, links). Mit nur ¼-VGA-Auflösung (320 x 240) war das Gerät nur ein persönliches Videodisplay, das am Kopf des Benutzers getragen wurde. Wenngleich Head-Tracking, Interaktivität oder integrierte Audiofunktionen nicht Teil des Erlebnisses waren, so hat diese anfängliche Technologie dazu beigetragen, die ergonomischen und optischen Aspekte der Wearable-Technologie voranzutreiben. Frühe Benutzerschnittstellen waren zwar clever, aber nicht sehr effektiv. Ein Beispiel sind Handschuhe mit Infrarotsensor, die es einem Computer mit einem Empfänger ermöglichen, Handbewegungen zu erkennen und zu verstehen (Abbildung 1 rechts).

Abbildung 1: Die ersten Versuche mit immersiver Technologie waren bescheiden, aber dennoch clever. Das Stunt Master Headset (links) hatte eine ¼-VGA-Auflösung und Lautsprecher mit geringer Lautstärke. Der IR-Handschuh-Controller (rechts) verwendet Dehnungsmessgeräte zur Messung der Fingerposition und IR-LEDs zur Übertragung von Handbewegungen und Tastendrücken. (Quelle: Mouser Electronics)

Ein weiterer Stolperstein waren Speicherchips und -module mit – nach heutigen Maßstäben – geringer Geschwindigkeit und Dichte, ohne die nötige Tiefe, um 3D-Bilder zu speichern. Das Head-Tracking war nicht praktikabel, und das Energiemanagement war noch nicht das, was es heute ist.

Diese Technologie ist endlich so weit fortgeschritten, dass sie an der Schwelle zur Realität steht. Der reale und alltägliche Nutzen für den Menschen in einer technologisch geschaffenen Umgebung kann dem Einzelnen und der Gesellschaft zugutekommen, wenn die entsprechende Technologie intelligent eingesetzt wird.

Wie bei vielen Technologien, die wir für selbstverständlich halten, sind militärische Anwendungen oft Vorreiter für die zugrundeliegenden Technologien, die ihren Weg in den öffentlichen Bereich finden. Die Kathodenstrahlröhre, das Fernsehen, das Radio und die Mikrowelle sind nur einige Beispiele dafür. Dank der immersiven Technologie hat die militärische Ausbildung, z. B. in Flugsimulatoren, jene immersiven Umgebungen hervorgebracht, auf denen wir heute aufbauen.

Obwohl diese ersten Umsetzungen nach heutigen Maßstäben simpel erscheinen, so leisteten sie doch Pionierarbeit in den Bereichen 3D-Mapping und -Darstellung, perspektivische Verarbeitung, Speicherverwaltung und Indexierungstechniken, Schattierung und Lichtquellenverarbeitung sowie Bildzusammenfügung und Bildlauf in Echtzeit. Darüber hinaus wurden Multiport- oder redundante Speicherblöcke verwendet, sodass ein Speicherblock das Echtzeitvideo wiedergab, während der andere Block für die folgende Sequenz aktualisiert wurde.

Auch wenn viele Flugsimulator-Enthusiasten diese Technologie nur zum Spaß nutzten, werden die realen Möglichkeiten der immersiven Technologie für die Gesellschaft jetzt erstmals klar ersichtlich. Obwohl Spiele die immersive Technologie erschwinglicher und populärer für die Gesellschaft machen, werden wichtige Applikationen tatsächlich Leben retten, wenn die Technologie mit anderen modernen Mainstream-Funktionen kombiniert wird.

Nehmen wir zum Beispiel ein reparaturbedürftiges Flugzeugtriebwerk. Das Durchlesen eines Wartungshandbuchs ist seit jeher üblich, doch kann dies durch den Einsatz immersiver virtueller Technologie verbessert werden. Anstelle eines flachen Bildes oder einer isometrischen oder parametrischen Zeichnung kann ein virtueller schwebender Motor vor den Augen des Technikers sichtbar gemacht werden. Der Techniker kann ihn drehen, virtuell zerlegen, in ihn hineinblicken und sehen, wo Klemmen, Bolzen und Baugruppen zugänglich sein müssen (Abbildung 2). Selbstverständlich können auf diese Weise Autoreparaturen, Gerätereparaturen und praktisch alle Maschinenreparaturen verbessert und verständlicher gemacht werden, wenn der Techniker über eine klare virtuelle Projektion verfügt, mit der er interagieren kann.

Noch interessanter wird es, wenn die Sensordaten mit dem virtuellen Bild kombiniert werden, so dass der Reparaturtechniker in den Motor hineinsehen und das defekte Lager finden kann, um dann festzustellen, wie er die verborgene Schraube erreichen kann, die von außen nicht zu sehen ist.

Abbildung 2: Virtuelle Maschinen ermöglichen es Technikern und Mechanikern, die komplizierten Einzelheiten einer komplexen Baugruppe zu studieren, bevor sie mit der Arbeit beginnen. Dies ist für Schulungen und tatsächliche Reparaturen nützlich. (Quelle: Gorodenkoff/Shutterstock.com)

Einer der am meisten erwarteten und wahrscheinlich folgenreichsten Anwendungsbereiche ist der medizinische Bereich. Mit den hochauflösenden Scandaten der Magnetresonanztomographie (MRT) kann ein Arzt zum Beispiel durch den Körper eines Patienten reisen und einen Tumor aus jedem Winkel untersuchen. Dann kann der Arzt ihn so vergrößert darstellen, dass sein Inneres sichtbar wird.

In Kombination mit interaktiven Manipulatoren (wie z. B. einer höheren Auflösung unseres Steuerhandschuhs aus Abbildung 1, rechts) kann ein Arzt mit Hilfe von Roboterwerkzeugen filigrane Operationen präziser durchführen als mit einer zittrigen menschlichen Hand. In Verbindung mit Sensoren – in diesem Fall mit haptischem Feedback – kann der erfahrene Chirurg Gewebe greifen, ziehen, bewegen und nähen, ohne es zu beschädigen (Abbildung 3).

Abbildung 3: Mit virtueller und erweiterter Realität können Ärzte heikle Operationen mit größerer Präzision und Kontrolle durchführen, als es ohne diese Technologie möglich wäre – sogar aus der Ferne. (Quelle: Gorodenkoff/Shutterstock.com)

Diese Technologie ermöglicht sogar ferngesteuert Operationen. Bei einer Marsmission kann beispielsweise ein Chirurg auf der Erde einen speziellen Eingriff an einem Astronauten vornehmen, der eine Million Kilometer entfernt ist. Selbst einfache Eingriffe wie die Reinigung eines Gehörgangs oder einer verstopften Arterie können durchgeführt werden, ohne dass man sich der Schwerelosigkeit anpassen muss. Die Signalverzögerung ist jedoch ein Problem, vor allem bei Entfernungen von Millionen von Kilometern. Hier wird die künstliche Intelligenz helfen, Bewegungen und Aktionen entsprechend der Verzögerungszeiten oder bei Signalverlust auszugleichen.

Als normaler Mensch, der hier auf der Erde lebt, kann die immersive Technologie auch das eigene Leben retten. Wir erinnern uns alle an die Momente, in denen uns das GPS aus einer unübersichtlichen Situation geholfen hat. Wenn beispielsweise die Landschaft mit Schnee bedeckt ist und man nicht sicher ist, wo die Straße endet und der See beginnt.

In Verbindung mit Sensoren und präzisem GPS kann eine immersive Virtual-Reality-Anzeige die tatsächliche Straße über das Echtzeitvideo legen, sodass wir wissen, wo wir fahren sollten und wo nicht. Zwei Dinge sind bei diesem Beispiel zu beachten: das Hinzufügen von Sensordaten, die über die menschlichen Sinne hinausgehen und auf diese Weise die immersive Erfahrung erweitern und die Fähigkeiten des Menschen über das hinaus steigern, wozu er ohne die Technologie in der Lage gewesen wäre. Hier macht Virtual Reality in Verbindung mit Augmented Reality den Unterschied.

Ein weiterer Vorteil der virtuellen und erweiterten Technologien für die Gesellschaft sind gefährliche Tätigkeiten, die aus der Ferne oder virtuell ausgeführt werden und dadurch Menschenleben retten können. Bei der Entschärfung einer Bombe beispielsweise kann sich ein virtuelles Präsenz-Gerät wie ein Gelenkroboter an einen gefährlichen Ort begeben und heikle Tätigkeiten durchführen, ohne dass sich ein Mensch in Gefahr bringen muss. Die 3D-Tiefenwahrnehmung wird es dabei dem Bediener des Bombenentschärfungskommandos ermöglichen, eine viel bessere Tiefenwahrnehmung als die eines 2D-Systems zu erhalten.

Auch andere gefährliche Aufgaben, wie das manuelle Schließen eines Ventils in einem Kernreaktor, können sicherer und mit mehr Geschick erledigt werden, als es ein 2D-System allein könnte. Der Schlüssel zu all diesen ferngesteuerten und virtuellen Präzisionsoperationen ist das haptische Feedback. Die Fähigkeit eines Bedieners, die Objekte, die er berührt, mit der Force-Feedback-Technologie zu fühlen, ist ein Muss für die Fernchirurgie und andere kritische Operationen. Aus einem einfachen Infrarot (IR)-Handschuh sind echte Multi-Sensor- und Multi-Aktor-Handschuhe geworden, wie z. B. die Industriemodelle von HaptX (Abbildung 4).

Abbildung 4: Hochpräzise Sensoren erkennen Finger- und Handbewegungen und Gesten genau, und die haptische Force-Feedback-Technologie erhöht die taktile Geschicklichkeit und die Kraftkontrolle dramatisch. (Quelle: HaptX).

Eine weitere interessante neuere Entwicklung ist die videobasierte Technologie zur Erkennung, Steuerung und Kontrolle von Gesten mit haptischem Feedback ohne Handschuh. Strategisch platzierte Videokameras überwachen die Handbewegungen, und eine ausgeklügelte Technologie zur Interferenz von Ultraschallwellen lässt den Bediener tatsächlich ein taktiles Feedback spüren – eine Art akustisches Kraftfeld (Abbildung 5).

Abbildung 5: Während hochauflösende Videokameras Handbewegungen erfassen, lassen Ultraschallsender mit präziser Phasensteuerung den Bediener eine Bewegung spüren. (Quelle: Mouser Electronics)

Ebenso wie Arnold Schwarzenegger in der Rolle des Terminator-Cyborgs kann uns das Erleben der Realität mit eingeblendeten Informationen von anderen unterscheiden. Sowohl Augmented Reality als auch Virtual Reality haben jedoch ihre eigene Berechtigung.

Normalerweise sind die Bildschirme bei Augmented Reality klar oder transparent. Aus heutiger Sicht ist die organische Leuchtdiodentechnologie (OLED) ideal geeignet, diesen Bedarf zu decken. Jedes Pixel ist ein eigener Emissionspunkt, sodass keine Hintergrundbeleuchtung oder ein Abtastlaser erforderlich ist, um ein Bild zu erzeugen.

In Kombination mit stereoskopischem Video kann ein virtuelles Headset gut als Virtual-Reality- und Augmented-Reality-Erlebnis funktionieren. In diesem Fall kann die Realität unter ungünstigen Bedingungen ausgeblendet werden, z. B. bei der Einstellung der Balance an einer Stereoanlage. Starke Blendung oder ein Schneesturm müssen keine Ablenkungen sein, wenn eine klare und übersichtliche virtuelle Welt verfügbar ist.

Abbildung 6: Die erweiterte Realität ermöglicht die Überlagerung von Informationen mit der von unseren Sinnen wahrgenommenen Realität. Dies kann sogar die Reichweite unserer Sinne erweitern, indem wir zum Beispiel durch Farbüberlagerungen Wärme sichtbar machen. (Quelle: HQuality/Shutterstock.com)

Die Fähigkeit, potenzielle Gefahren zu erkennen und davor zu warnen, bevor es die menschlichen Sinne tun, ist ein eindeutiger Sicherheitsvorteil und nicht nur für den menschlichen Wahrnehmungsbereich von Interesse. Mit Hilfe der Thermotechnik kann Wärme sichtbar gemacht und neu eingefärbt werden. Dank dieser Technologie kann ein Fahrer erkennen, ob sich ein Mensch oder ein Tier auf der Straße befindet, lange bevor sein begrenztes visuelles Spektrum es erfassen kann. Ultraviolettes Licht kann Details hervorheben, die das menschliche Auge nicht erkennen kann.

Die Erweiterung des menschlichen Sehbereichs von Hochfrequenz (HF) auf Röntgenstrahlen könnte eine wichtige Technologie für die Diagnose und Fehlerbehebung sein. Ob im Weltraum, in einem Kernreaktor oder auf einem U-Boot – in all diesen Umgebungen kommt es auf die Fähigkeit an, ein potenzielles Problem zu erkennen und zu beheben, bevor es zu einem echten Problem wird.

Hier beginnt der echte Spaß. Das Sehvermögen ist nicht unser einziger wichtiger Überlebenssinn. Viele argumentieren, dass der Hörsinn in manchen Fällen genauso wichtig ist. Wir existieren als Spezies, weil unser stereoskopischer Gehörsinn es uns ermöglicht, Gefahren zu erkennen und ihre ungefähre Position zu bestimmen, ohne dass wir sie sehen können.

Das Gehör spielt eine wichtige Rolle bei der immersiven Technologie und dem immersiven Erlebnis. Obwohl das Stereo-Hören für die meisten Zuhörer seit langem zufriedenstellend ist, ist es keine genaue 3D-Wiedergabe der Klanglandschaft. Auch wenn es bereits mehrere Varianten der Surround-Sound-Technologie gibt, sind sie alle auf zusätzliche Lautsprecher und Subwoofer angewiesen. Es ist relativ einfach, diese in einem Raum aufzustellen, aber viel schwieriger, einen solchen Klang auf einem Headset zu simulieren.

Digitale Signalverarbeitungsalgorithmen nehmen Stereotoninformationen auf und extrahieren bestimmte Kanäle für Surround-Sound-Standards. Diese synthetisierten Spuren können dann verstärkt und an die Surround-Lautsprecher weitergeleitet werden. Die Übersetzer wechseln auch zwischen Stereo und den Surround-Sound-Standards 5.1, 7.1, 7.2 und 9.2 hin und her.

An dieser Stelle muss sich die Technologie unterscheiden. Für Unterhaltungszwecke ist die Wiedergabe sehr wichtig. Wenn zum Beispiel etwas in Surround-Sound 5.1 aufgenommen wurde, klingt es am besten, wenn es nur auf einem 5.1-System abgespielt wird. Augmented Reality setzt voraus, dass sie in 3D wahrgenommen und wiedergegeben werden kann. Ein Soldat in einer Stealth-Mission könnte mit Hilfe von Wärmedetektion einen Feind identifizieren, und gefilterter, gerichteter Raumklang kann die Genauigkeit verbessern. Wenn sich ein Feind hinter einer Wand befindet, könnte der 3D-Sound noch Atmung oder Herzschlag erkennen.

Moderne Systeme wie Dolby Atmos sind für echte Surround-Sound-Erlebnisse wie in Kinos konzipiert. Diese Systeme können bis zu 64 Lautsprecher ansteuern, was für ein tragbares Headset zu viel wäre. Außerdem werden Verarbeitungsressourcen benötigt, weil Audio nicht mehr Audio ist. Es handelt sich um ein digital modelliertes Klangobjekt, dessen Eigenschaften, Entfernung, Bewegung und Richtung dazu führen, dass eine Tonspur synthetisiert und an mehrere Lautsprecher verteilt wird. Im Theater ist das zwar toll, aber für tragbare immersive Systeme ist es wahrscheinlich nicht machbar.

Die Entwicklung und Herstellung von Headsets mit immersiver Technologie sind demnach in Reichweite. Die Teile des Puzzles liegen bereit, um in Ihr Headset eingebaut zu werden. Dies gilt für Systeme mit erweiterter, virtueller und kombinierter Realität.

TFT-Displays (Thin Film Technology) werden überall eingesetzt und sind kostengünstig, aus mehreren Quellen zu beziehen und im Handel erhältlich. Sie benötigen eine LED-Hintergrundbeleuchtung und sind lichtundurchlässig, was bedeutet, dass sie vor allem für die virtuelle Realität und in Kombination mit einer stereoskopischen Kamera für die erweiterte Realität verwendet werden können.

Die OLED-Technologie könnte hier die beste Wahl sein. Sie ist flexibel, kann gebogen und verformt werden und ist durchsichtig, so dass man direkt hindurchsehen kann. Aber das Beste an ihr ist, dass in der durchsichtigen Folie mikroskopisch kleine LEDs eingebettet sind, die ein beleuchtetes Display ohne Hintergrundbeleuchtung erzeugen. OLED-Displays existieren zwar, sind aber nicht so leicht verfügbar wie TFTs. Die Laser-Heads-up-Technologie ist eine weitere Option.

Zahlreiche Hersteller bieten dank der Smartphone-Revolution und der Selfie-Bewegung auch ultrakleine und hochauflösende Videokameras an. Dank der geringen Abmessungen eignen sie sich ideal für die Montage auf Brillengestellen sowie für völlig immersive, blickdichte Headsets.

Audioprozessoren und kleine Vollbereichslautsprecher können ebenfalls von seriösen und bewährten Anbietern bezogen werden. Auch hier hat die Mobilgeräteindustrie diese Technologie aufgrund des Bedürfnisses, Musik zu hören, schnell vorangetrieben.

Der vielleicht wichtigste technologische Fortschritt, der diese Konstruktionen möglich macht, sind die modernen mehrachsigen Beschleunigungssensoren, die uns zur Verfügung stehen. Sie sind schnell genug, um Kopfbewegungen zu überwachen, und ermöglichen in Verbindung mit einem schnellen und reaktionsstarken Videoverarbeitungs- und -wiedergabesystem eine klare Nutzung ohne Übelkeit. (Hinweis: Wenn die Darstellung auf den Displays dem Head-Tracking hinterherhinkt, kann dieser zeitliche Versatz der Wahrnehmungen Übelkeit verursachen.)

Weitere Fortschritte wie ultradichte und schnelle Speicher, Chips für das Energiemanagement und eine hochdichte Batterietechnologie tragen dazu bei, dass diese Technologie kosteneffektiv und effizient genug ist, um in Zukunft die bevorzugte Benutzeroberfläche zu werden. Darüber hinaus ermöglichen die drahtlosen Hochfrequenz-Kommunikationstechnologien mit hoher Bandbreite, dass diese immersiven Geräte völlig frei von jeglicher Bindung sind.

Bei der Entscheidung, wie Sie mit Ihren Augmented- und/oder Virtual-Reality-Applikationen vorgehen wollen, sind Faktoren wie Kosten, Markteinführungszeit, Zuverlässigkeit und spezielle Funktionen zu berücksichtigen. Kosten und Markteinführungszeit stehen bei kommerziellen und privaten Anwendungen ganz oben auf der Liste. Robustheit, Zuverlässigkeit und spezielle Funktionen haben bei Konstruktionen für das Militär und die Luft- und Raumfahrt eine hohe Priorität. Alles andere liegt dazwischen.

In beiden Fällen können Machbarkeitsstudien und Prototyping durch OEMing eines bestehenden Headsets erfolgen. Zahlreiche Anbieter haben Angebote mit unterschiedlichen Preisen und Leistungsniveaus. Diese sind sowohl in kabelgebundenen als auch in kabellosen Konfigurationen erhältlich. Das meistdiskutierte Modell ist das Occulus Quest 2 für rund 300 US-Dollar. Es verfügt über eine eigenständige Rechen- und Grafik-Engine, drahtlose Kommunikation, eine BLUETOOTH^®-Schnittstelle für Peripheriegeräte und gute Head-Tracking-Eigenschaften. Sony PlayStation^® bietet ebenfalls ein konkurrenzfähiges Modell an, das preislich sogar im Rahmen liegt. HTC und Valve Index VR-Kits sind ebenfalls erwähnenswert.

Es stehen auch Entwicklungstools zur Verfügung, die die Interaktion mit Szenen und mehreren Charakteren ermöglichen. Headsets mit Grafik-Engines und CPUs sind jetzt vorhanden, und es entwickeln sich Communitys, die diese schöne neue virtuelle Welt unterstützen.

Virtuelle und erweiterte Realität lassen die Nutzer in künstliche Welten eintauchen. Bei der virtuellen Realität kann die immersive Erfahrung eine andere Welt sein als die, die sich außerhalb des Headsets befindet, während die erweiterte Realität die Informationen verbessert und das Spektrum der menschlichen Sinne erweitert. Glücklicherweise verfügen wir über die Technologien, um sie zusammenzubringen und diese Welten zu schaffen, die die Ausbildung, die Reparatur von Maschinen, die Chirurgie, die Navigation und die Erweiterung der Sinneswahrnehmungen verbessern können.