Integration von Mensch und Maschine

Quelle: Hikari Pictures/stock.adobe.com

Die Entwicklungen im Bereich der Mensch-Maschine-Interaktion haben sich von einfachen, manuell zu bedienenden Tools, die körperliches Geschick erfordern, bis hin zu hoch entwickelten elektronischen Systemen weiterentwickelt, bei denen die Grenzen zwischen Mensch und Maschine verschwimmen. Ursprünglich waren es Tools wie Winden und Katapulte, die die menschlichen Fähigkeiten erweiterten und über Schnittstellen verfügten, die direkt mit der Hand oder dem Fuß bedient werden konnten. Dieses Zeitalter der einfachen Mensch-Maschine-Schnittstellen (Human Machine Interfaces, HMIs) brachte den menschlichen Fortschritt über Jahrtausende hinweg voran, wobei selbst komplexe Maschinen wie Dampflokomotiven über physische Hebel und Knöpfe gesteuert wurden. Der Einzug der Elektrizität bedeutete einen gewaltigen Sprung im Design von HMIs: Tasten, Schalter und visuelle Anzeigen ermöglichten eine differenziertere Steuerung und Kommunikation mit Maschinen.

Heute stellt der Fortschritt der Technologie die einst klaren Grenzen zwischen Mensch und Maschine infrage und hat eine neue Ära eingeleitet, in der die Integration und Interaktion mit Maschinen nahtloser und miteinander verknüpft ist. Dabei ergeben sich aus einer solch engen Integration von Mensch und Technik sowohl Chancen als auch Herausforderungen.

Nutzen einer Mensch-Maschine-Schnittstelle (HMI)

Der Nutzen von HMIs hat sich mit dem Aufkommen von Displays mit grafischen Darstellungen und der Entwicklung der Touchscreen-Technologie deutlich erhöht. Mikrocontroller und Prozessoren haben die Fähigkeit der Maschinen verbessert, Präferenzen zu speichern und den Betrieb zu rationalisieren, sodass eine schnelle und effiziente Auswahl der verschiedenen Betriebsmodi möglich ist. Die Entwicklung von Motorsteuerungen und taktiler Rückmeldung hat den Betrieb der Maschinen auf ein neues Präzisionsniveau gebracht. Die Faszination innovativer Technologien ist jedoch nicht unbedingt gleichbedeutend mit Effizienz. So hatten frühe Virtual-Reality-Systeme (VR) Probleme mit der Kopfverfolgung in Echtzeit, was aufgrund der Diskrepanz zwischen erwarteter und tatsächlicher visueller Rückmeldung zu Problemen bei den Nutzern führte.

Effektive HMIs legen Wert auf Intuitivität und minimale Schulungsanforderungen, was ihren evolutionären Nutzen steigert. Fortschritte wie hellere Displays und Touchscreens haben die Interaktion mit dem Nutzer verändert, auch wenn Herausforderungen wie die Neukalibrierung und die eingeschränkten Touchscreen-Fähigkeiten in frühen Versionen nicht zu übersehen waren. Der Wechsel zu Technologien mit kapazitiven Touch-Displays hat den Funktionsumfang der Mensch-Maschine-Schnittstelle (HMI) erheblich erweitert, wie die weite Verbreitung von Smartphones und Tablets zeigt. Die intuitiven Eigenschaften dieser Geräte ermöglichen ein schnelles Erlernen und einen Betrieb ohne umfangreiche Schulung, selbst bei Kindern, die neue Technologien oft schneller beherrschen als Erwachsene.

Ein wichtiger Aspekt beim Design von HMIs ist der Bedienkomfort und die Minimierung von Ermüdungserscheinungen bei längerer Nutzung. Moderne Schnittstellen, insbesondere bei Tablets und Smartphones, sind für eine längere Nutzung ausgelegt, was allerdings zu Bedenken hinsichtlich eines möglichen Suchtpotenzials führt. Darüber hinaus zeigen HMIs wie beispielsweise Heads-up-Displays in der Luftfahrt, wie wichtig es ist, die Konzentration und den Komfort des Bedieners während längerer Nutzungszeiten aufrechtzuerhalten. Bei den Überlegungen zum Design muss auch das Risiko von Verletzungen durch wiederholte Beanspruchung berücksichtigt werden. Dies unterstreicht die Bedeutung der Ergonomie beim Design von Schnittstellen, um die Gesundheit und Produktivität der Nutzer in verschiedenen beruflichen Kontexten von der Arbeit am Fließband bis hin zu Büroumgebungen zu berücksichtigen.

Sicherheit einer HMI

Moderne VR-Systeme stehen an der Spitze einer Technologie, die von den meisten Anwendern angenommen wird, wobei einige große Anbieter den Markt dominieren und das Potenzial für weitere Anbieter besteht, da Augmented-Reality-Systeme (AR) an Popularität gewinnen. Sowohl VR- als auch AR-Technologien zeichnen sich dadurch aus, dass sie immersive Erlebnisse schaffen, Lern- und Schulungsumgebungen verbessern, die Unterhaltung revolutionieren und neue Möglichkeiten zur Interaktion mit digitalen Inhalten bieten.

Die Technologien werden derzeit vor allem für Spiele verwendet, aber auch in der industriellen Steuerung, der Fabrikautomatisierung und in Reparaturzentren für komplexe Maschinen werden sie zunehmend zum Einsatz kommen. Dank fortschrittlicher Sensoren und Detektoren weiß die HMI, wo sich die Hände befinden, und unterstützt neue fortschrittliche Gesten wie Spreizen oder Tauchen (Abbildung 1). Selbst wenn man in eine virtuelle Umwelt eintaucht, können Steuerschalter und Tasten mithilfe von kabellosen Controllern verwendet werden. 

Abbildung 1: VR- und AR-Systeme ermöglichen eine bessere Visualisierung komplexer Systeme. Dies ist besonders hilfreich bei der Schulung sowie bei der Reparatur und Wartung von Maschinen. (Quelle: Gorodenkoff/stock.adobe.com)

Fortschritte in der Technologie, insbesondere bei Beschleunigungsmessern und präziser Kopfverfolgung, haben die Probleme der dissoziativen Verzögerung in virtuellen Umgebungen entschärft und damit die Sicherheit verbessert. Dennoch bleiben Herausforderungen bestehen, wie beispielsweise die Navigation durch unsichtbare Hindernisse mit immersiven Headsets, bei denen visuelle und akustische Signale zur Warnung erforderlich sind. Omnidirektionale Laufbänder mit Sensoren sind eine Lösung für die sichere Bewegung in virtuellen Räumen, denn sie verfolgen die Bewegungen des Nutzers. AR bietet eine sicherere Alternative, da digitale Informationen in die reale Umgebung eingeblendet werden, sodass Nutzer Hindernisse tatsächlich erkennen können. Diese Technologie ist vor allem in spezialisierten Bereichen wie der Luft- und Raumfahrt von Vorteil, wo AR komplexe Aufgaben wie die Reparatur von Triebwerken durch die Hervorhebung von Bauteilen vereinfachen kann, wobei eine Weiterentwicklung zur Unterstützung von 3-D-Projektionen für intuitivere Interaktionen vielversprechend ist.

Technologien für die Gestenerkennung in AR-Headsets ermöglichen eine präzise Steuerung und Interaktion und verbessern somit die Effizienz bei verschiedenen Applikationen, beispielsweise bei der Reparatur komplexer Maschinen, die durch audiovisuelle Hinweise unterstützt wird. Diese Systeme verbessern nicht nur das Betriebsverhalten, sondern ermöglichen auch die Erkennung von Fehlern, die über die menschlichen Fähigkeiten hinausgehen. Für Applikationen in der industriellen Steuerung und für ferngesteuerte militärische Anwendungen, wie beispielsweise die Steuerung von Drohnen, müssen bei der Gestaltung von HMIs Empfindlichkeit und Robustheit gegeneinander abgewogen werden, um Zuverlässigkeit unter Bedingungen wie Explosionen in der Nähe oder unbeabsichtigte Bewegungen des Bedieners zu gewährleisten, und Sicherheitsmechanismen zur Verhinderung unbeabsichtigter Aktionen integriert werden.

Wirtschaftlichkeit von HMIs

Zur Implementierung einer fortschrittlichen HMI müssen wichtige Baugruppen vorhanden sein. Dank der rasanten Verbreitung von Smartphones und Tablets sind hochauflösende, preiswerte Displays leicht verfügbar und kostengünstig. Das gilt auch für Beschleunigungsmesser und kleine, kostengünstige, hochauflösende Videokameras. Für großvolumige Applikationen können diese Technologien zu geringeren Kosten als je zuvor eingesetzt werden.

Für VR-Schnittstellen werden in der Regel TFT-LCD-Displays mit Dünnschicht-Transistoren verwendet. Dagegen kommen für AR-Technologien bevorzugt OLED-Displays zum Einsatz, da sie transparent und flexibel sind und keine Hintergrundbeleuchtung benötigen. Trotz höherer Kosten und geringerer Ausgereiftheit der derzeitigen OLED-Technologie wird die Technologie von den Herstellern von TV-Geräten und Smartphones immer stärker übernommen, was auf künftige Kostensenkungen und eine bessere Verfügbarkeit hindeutet.

Im Verteidigungsbereich und in der Luft- und Raumfahrt legen die Entwickler von HMI-Designs besonderen Wert auf Haltbarkeit und Langlebigkeit. Allerdings ist nicht für alle Applikationen eine so lange mittlere Zeit zwischen zwei Ausfällen (Mean Time Between Failures, MTBF) erforderlich. Ein erfahrenes Entwicklerteam ist entscheidend für die notwendige Balance zwischen Haltbarkeit, Kosteneffizienz und Reparierbarkeit, um Ausfälle im Feld zu vermeiden. Einige Hersteller verfolgen mit der Praxis der geplanten Obsoleszenz das Ziel, regelmäßige Upgrades auf neuere Modelle zu fördern und so einen Ausgleich zwischen der Langlebigkeit von Produkten und Innovationszyklen zu schaffen.

Aktueller Stand der HMIs

Für Aufgaben wie das persönliche Surfen, das Streamen von Medien, grundlegende Bürofunktionen wie E-Mail und die Bearbeitung von Dokumenten haben Tablets und Handys den Desktops und Laptops immer mehr den Rang abgelaufen. Das gilt auch für einige Geschäftsbereiche, in denen Laptops mit Touchscreen die herkömmliche Datenverarbeitung mit der Tragbarkeit und der intuitiven Schnittstelle von mobilen Bauteilen verbinden.

Es gibt jedoch Applikationen, bei denen dies nicht der Fall ist, beispielsweise bei CAD- und CAE-Designs. Große, hochauflösende Displays machen zum Beispiel das Board-Design einfacher, stressfreier und weniger fehleranfällig. Wundern Sie sich nicht, wenn ein cleverer CAE-Hersteller ein VR-basiertes Board- oder Chip-Layout-Tool anbietet, das die Vorteile fortschrittlicher Bildgebung und Schnittstellen wie Spracherkennung nutzt.

Die Spracherkennung ist weit vorangeschritten, aber fast jeder, der Applikationen zur Spracherkennung nutzt, weiß, dass sie noch nicht perfekt ist. Dies wird sich weiter verbessern, da fortschrittliche Technologien zur digitalen Signalverarbeitung (DSP) eingesetzt werden, um Hintergrundgeräusche zu filtern und Feinheiten zu erkennen. Sobald die KI-Hardware anfängt, Entscheidungen zu treffen und den Kontext zu berücksichtigen, wird sie sich weiter verbessern und zuverlässig werden.

Die unsichtbare Berührung

Ein wesentlicher Bestandteil moderner und künftiger HMIs ist die Möglichkeit, physisches Feedback von einer virtuellen Maschine zu erhalten. Der aufkommende Bereich der Haptik bietet diese Funktion, allerdings noch nicht in großem Umfang. Haptisches Feedback bedeutet einen gewaltigen Qualitätssprung in der Art und Weise, wie wir mit virtuellen Systemen interagieren, denn es bietet taktile Empfindungen, die reale Erfahrungen imitieren. Im Gegensatz zu den klassischen Interaktionen, die sich häufig auf die taktile Reaktion von Tasten oder Schaltern stützen, erweitern neuere Technologien wie Haptik, Sprachbefehle und Gestenerkennung die Möglichkeiten der Interaktion mit Maschinen, ohne dass ein physischer Kontakt erforderlich ist, und verbessern so das Nutzererlebnis bei virtuellen HMIs.

Einige bereits auf dem Markt erhältliche haptische Systeme können beispielsweise ein positives physisches Feedback für das Drücken einer virtuellen Taste über einen Handschuh geben, der Mikro-Magnetventile, Luftdruck oder Flüssigkeitsübertragungen verwendet (Abbildung 2). Bei der Eingabe auf einer virtuellen Tastatur können haptische Systeme mit mehreren Fingern nützlich sein. Es gibt sogar Arrays mit Ultraschall-Emittern, die Wellenfronten auf einen bestimmten Punkt in der Luft lenken können, sodass man den Klick spürt, obwohl dort nichts ist. 

Abbildung 2: Fortgeschrittene haptische Handschuhe erkennen und reagieren präzise auf Hand- und Fingerbewegungen und können taktile Klicks, Drücke und sogar Temperaturen erzeugen. (Quelle: Александр Лобач/stock.adobe.com) 

Bei einigen Applikationen, wie z. B. der Fernchirurgie, ist eine präzise taktile Rückmeldung erforderlich, die über einfache Klicks hinausgeht und den Widerstand bei der Verwendung von Tools wie Skalpellen simulieren muss. Für diese immersive Erfahrung sind kurze Latenzzeiten und präzises Feedback erforderlich, um sicherzustellen, dass der Chirurg den richtigen Druck ausüben kann. Neben Handschuhen bieten Produkte wie High-End-Gaming-Stühle simulierte g-Kräfte für realistische Fahr- oder Flugerlebnisse.

Neuronale Schnittstellen und weitere Bereiche

Die Forschung und Entwicklung im Bereich der neuronalen Schnittstellen hat in den letzten zehn Jahren große Fortschritte gemacht und bietet Menschen mit unfallbedingten oder angeborenen Beeinträchtigungen neue Möglichkeiten für Mobilität und einen größeren Funktionsumfang. Ursprünglich dienten Sensoren an der Körperoberfläche der Erkennung von Nervenimpulsen oder Muskelbewegungen zur Steuerung von Prothesen. Fortschritte bei den DSP-Technologien und der Rechenleistung haben eine komplexere Steuerung künstlicher Gliedmaßen mit mehreren Sensoren durch Training möglich gemacht.

Eine entscheidende Entwicklung in der Technologie für neuronale Schnittstellen war die gezielte Einführung von Elektroden in den Körper, auch in das Gehirn, zur Behandlung von Krankheiten wie Parkinson und zur Unterstützung von Herzschrittmachern. Eine bemerkenswerte frühe Entwicklung war eine in den 1970er-Jahren geschaffene Schnittstelle aus Bio-Silizium, die die Verbindungsfähigkeit von Neuronen der Nacktschnecken mit integrierten Schaltkreisen (Integrated Circuits, ICs) herstellte und die großen Neuronen der Nacktschnecken für die bahnbrechende Forschung an neuronalen Schnittstellen nutzte.

Diese Grundlagenarbeit führte zu hochentwickelten Multi-Sensor-/Stimulator-Schnittstellen, die in der Lage sind, ICs direkt mit dem menschlichen Gehirn zu verbinden. Ein Meilenstein gelang 2004, als einem farbenblinden Künstler ein Implantat eingesetzt wurde, mit dem er Farben jenseits des normalen visuellen Spektrums, von Infrarot bis Ultraviolett, wahrnehmen konnte. Dies kompensierte nicht nur seine Achromatopsie (völlige Farbenblindheit), sondern verbesserte auch seine sensorischen Fähigkeiten und bedeutete einen wichtigen Schritt zur Erweiterung menschlicher Fähigkeiten durch Technologie.

In jüngerer Zeit hat die Neuralink Corp. einen Chip entwickelt, der eine Schnittstelle zu den für die motorische Steuerung verantwortlichen Gehirnbereichen bildet und es Nutzern ermöglicht, Geräte wie Handys und Computer durch Gedanken zu bedienen.  Diese Technologie basiert auf der Erkennung von neuronalen Erregungsmustern. Zu den möglichen zukünftigen Applikationen gehören die Wiederherstellung der motorischen Funktionen, die Schmerzbehandlung und die Verbesserung der Sinneswahrnehmung, beispielsweise das Sehen im Infrarotspektrum oder das Hören im Ultraschallbereich (Abbildung 3). Die Forschung im Bereich der Dekodierung neuronaler Aktivitäten ist noch nicht abgeschlossen. Mögliche Applikationen reichen von der Überwachung der Stimmung und des Gesundheitszustands bis hin zur präventiven Erkennung von gewalttätigem Verhalten, was einen Einblick in die umfassenden und sich weiterentwickelnden Potenziale neuronaler Schnittstellen gibt.

Abbildung 3: Künstlerisches Konzept eines ins Gehirn implantierten Chips. (Quelle: peterschreiber.media/stock.adobe.com) 

Weitere Anwendungsmöglichkeiten für hirnimplantierte Schnittstellen

Neuronale Schnittstellen bieten vielversprechende Applikationen in den Bereichen Unterhaltung, medizinische Diagnostik, Intervention und Stimmungsregulierung. Diese Technologien werden über die traditionellen Anwendungen in der mechanischen Steuerung und medizinischen Prothetik hinausgehen und möglicherweise die Art und Weise revolutionieren, wie wir mit digitalen Umgebungen interagieren und unsere Gesundheit verwalten. Fortgeschrittene neuronale Schnittstellen könnten ein völlig immersives Unterhaltungserlebnis ermöglichen, indem sie Empfindungen vollständig im Kopf des Nutzers simulieren und eine neue Ära der virtuellen und erweiterten Realität einläuten.

Im Gesundheitswesen könnten neuronale Schnittstellen dank eingebetteter Sensoren, die in der Lage sind, Medikamente zu verabreichen und Gesundheitsdienstleister automatisch zu alarmieren, schon bald medizinische Zustände wie Krampfanfälle, Herzinfarkte und Schlaganfälle erkennen und präventiv behandeln. Darüber hinaus könnten diese Schnittstellen innovative Ansätze zur Behandlung von Stimmungsschwankungen und Depressionen bieten, indem sie die chemischen Veränderungen im Gehirn in Echtzeit überwachen, um das psychische Wohlbefinden zu erhalten.

Das große Potenzial neuronaler Schnittstellen liegt auf der Hand, aber es unterstreicht auch die Notwendigkeit einer sorgfältigen Berücksichtigung von Datenschutz, Einwilligung und Autonomie, um deren ethisch vertretbaren Einsatz zu gewährleisten.

Fazit

Die Fortschritte im Bereich der Mensch-Maschine-Schnittstelle haben dazu geführt, dass aus einfachen Tools fortschrittliche Systeme geworden sind, bei denen die Grenzen zwischen Technologie und Biologie verschwimmen. Frühe mechanische Steuerungen haben sich zu hochentwickelten elektronischen Schnittstellen entwickelt, die eine präzise Steuerung und Rückmeldung ermöglichen. Die Entwicklung neuronaler Schnittstellen verbessert die Mobilität von Menschen mit Beeinträchtigung und ebnet den Weg für die direkte Kommunikation zwischen Gehirn und Computer. Modernste Mensch-Maschine-Schnittstellen bieten heute immersive Erlebnisse und eine verbesserte Steuerung. Gleichzeitig versprechen künftige Innovationen eine noch stärkere Integration von Technologie in menschliche Erfahrungen, von sensorischen Verbesserungen bis hin zu medizinischen Eingriffen. Die Weiterentwicklung von HMIs wird die menschlichen Fähigkeiten erweitern und die Lebensqualität verbessern und zu einer Zukunft führen, in der Technologie und menschliches Leben nahtlos miteinander verbunden sind.

[1] Barbara Symonds Beltz. „The Salivary System of Limax Maximus: Morphology and Peripheral Modulation of Buccal Neurons by Salivary Duct Afferents“. PhD diss., Princeton University, 1979. ProQuest (7928466).

 [2]

 Michelle Z. Donahue, „How a Color-Blind Artist Became the World’s First Cyborg“, National Geographic, 3. April 2017, https://www.nationalgeographic.com/science/article/worlds-first-cyborg-human-evolution-science.

[3]

 Denise Chow, „Behind Elon Musk's Brain Chip: Decades of Research and Lofty Ambitions to Meld Minds with Computers“, NBCNews.com, 4. Februar 2024, https://www.nbcnews.com/science/science-news/neuralink-elon-musk-science-behind-rcna136352.