Mensch-Maschine-Schnittstellen 2024 und darüber hinaus

Quelle: Lucija/stock.adobe.com

Einführung

In Filmen und im Fernsehen haben wir die Entwicklung „futuristischer“ Mensch-Maschine-Schnittstellen (Human Machine Interfaces, HMIs) miterlebt: von den vielen Reglern und Hebeln in der Fabrik in Metropolis über die Hologramme in Star Trek bis hin zu den Touch-Schnittstellen und der Augmented Reality (AR) in Minority Report. Sogar das Kommandomodul und die holografische 3D-Schnittstelle des Marvel-Universums scheinen in greifbarer Nähe zu sein. Aber wo stehen wir heute?

Dieser Beitrag befasst sich mit der Technologie in aktuellen HMIs, darunter Touch-, Gesten-, Sprach- und sogar Gehirn-Computer-Schnittstellen, und erklärt, wie diese jeweils implementiert wurden.

Grundlegende Informationen über HMIs

Der Begriff HMI ist eine Abkürzung für Human Machine Interface, also Mensch-Maschine-Schnittstelle. Sie wird auch als Bedieneranschluss, lokale Bedienerschnittstelle oder Bedienerterminal bezeichnet und umfasst eine Vielzahl von Technologien, mit denen Menschen mit Maschinen kommunizieren, sie steuern, Rückmeldungen erhalten und programmieren können. Der Begriff kann für jede Art von Schnittstelle zwischen Mensch und Maschine verwendet werden. Am häufigsten wird der Begriff jedoch im Zusammenhang mit industriellen HMIs verwendet, z. B. für Konsolen und Anschlüsse, die zur Steuerung und Rückmeldung großer industrieller Systeme oder komplexer Maschinen eingesetzt werden. HMI kann sich auf das System beziehen, das für die Eingaben eines Bedieners verwendet wird, wie beispielsweise eine Tastatur oder eine berührungsempfindliche Steuerung, das Feedbacksystem oder eine beliebige Kombination von Technologien, die für die Eingabe und die Rückmeldung eines Maschinensystems verwendet werden. HMIs werden häufig in großen Branchen wie Handel, Industrie, Automotive, Gesundheitswesen und Luft- und Raumfahrt/Verteidigung eingesetzt.

In der Vergangenheit wurden Steuerkonsolen, Tastaturen, Maus-Computersteuerungen, Befehlszeilenschnittstellen, grafische Benutzeroberflächen (GUI) und beleuchtete Displays für die Kommunikation mit Maschinen verwendet. Viele moderne Systeme nutzen Computer, Tablets, Smartphones und virtuelle Steuerungsmethoden mit minimaler HMI am Standort des Systems, um so die Effizienz zu verbessern und das Design der Schnittstelle zu optimieren.

In jüngster Zeit haben sich Displays mit Touch-Funktionalität immer mehr durchgesetzt, und auch Systeme, die durch Gesten und Sprache gesteuert werden, sind inzwischen weitverbreitet. Die Einführung modernerer HMI-Technologien, einschließlich AR und Virtual Reality (VR), wird durch mehrere neue Technologien beschleunigt, bei denen Gesten- und Sprachsteuerung zum Einsatz kommen.

Heutiger Stand der HMIs

Aktuelle Prognosen sagen voraus, dass der HMI-Markt bis 2030 mit einer durchschnittlichen jährlichen Wachstumsrate (CAGR) von etwa 10,4 Prozent auf 11,6 Milliarden US-Dollar wachsen wird.  Die Nachfrage nach HMIs steigt, da viele ältere industrielle Systeme und Maschinen ersetzt, aufgerüstet oder auf modernere HMI-Technologien nachgerüstet werden. Diese Verbesserungen werden typischerweise vorgenommen, um den Wirkungsgrad zu erhöhen und eine bessere Betriebsdatenerfassung und Steuerung zu ermöglichen. Dadurch können moderne Techniken, die Machine Learning (ML), künstliche Intelligenz (KI) und anspruchsvolle Analysen nutzen, besser eingesetzt werden.

Bei den aktuellen HMIs handelt es sich um eine Kombination aus älteren Versionen von Systemen, die noch in Betrieb sind, modernen Systemen und neueren experimentellen Systemen mit futuristischen Schnittstellen. Wie bei vielen Industriesystemen hinken auch die Standard-HMIs dem technologischen Fortschritt etwas hinterher. Grund dafür sind Sicherheitsaspekte, die Notwendigkeit, Bediener zu schulen, die Dynamik von Anbietern und Distributoren und andere Marktgegebenheiten. Es kann Jahre oder sogar Jahrzehnte dauern, bis sich neue HMI-Technologien in bestimmten Applikationen durchsetzen. Einige ältere HMI-Technologien sind sogar in Standards, Sicherheitsprotokollen und Vorschriften integriert.

Im Folgenden sind nur einige der heutigen HMI-Technologien aufgeführt:

• Konsolen-/Terminalschnittstelle (aktive physische Bedienung)
• Befehlszeilenschnittstelle
• GUI
• Web- und Cloud-basierte Schnittstelle
• Touch-Display-Schnittstelle (Touchscreen)
• Tablet- und Smartphone-Schnittstelle (d. h. Verwendung tragbarer, drahtlos verbundener Hardware)
• Gestenbasierte Schnittstelle
• Sprachsteuerung/sprachaktivierte Schnittstelle
• AR- und VR-Headset und Schnittstelle für Steuerzubehör
• Gehirn-Computer-Schnittstelle

Bis vor Kurzem nutzten die meisten Maschinensysteme konsolen- und terminalbasierte Schnittstellen, doch heute sind Schnittstellen mit Touch-Displays bei modernen Maschinensystemen weitverbreitet. Ein weiterer neuerer Fortschritt sind Schnittstellen, die über Smartphones und Tablets gesteuert werden. Diese sind häufig über eine App des Herstellers oder sogar über Apps von Drittanbietern verfügbar und verbessern die Steuerungsmöglichkeiten bestehender Anlagen. Für viele ältere Maschinensysteme sind modulare Upgrades oder komplette Nachrüstungen mit modernisierten Schnittstellen erhältlich, z. B. mit Touch-Displays, Web-/Cloud-basierten Schnittstellen und Tablet- bzw. Smartphone-Schnittstellen.

Sprachgesteuerte Systeme nutzen natürliche Sprachprozesse, die durch ML/KI möglich sind, und sind heute in Smart-Home-Reglern, Lautsprechern und Audio-/Video-Unterhaltungssystemen allgegenwärtig, werden aber in Industriesystemen aus Sicherheitsgründen weniger häufig eingesetzt. In Industrieapplikationen und im Gesundheitswesen sind sprachgesteuerte Schnittstellen aufgrund von Geschwindigkeit, Sicherheitsbedenken und möglicherweise mangelnder Vertrautheit der Nutzer/Bediener oft nur eine zweitrangige HMI; die primäre HMI ist oft eine Methode, die taktile Eingaben oder Handsteuerung beinhaltet.

Die meisten dieser modernisierten Systeme verfügen über Schnittstellen, die typischerweise in Form von lizenzierten oder direkt von Herstellern oder Händlern erworbenen Modulen angeboten werden und in der Regel nicht im eigenen Haus entwickelt werden. Dies stellt eine erhebliche Abweichung von der Vergangenheit dar, als viele Hersteller ihre eigenen Schnittstellen als Teil des Produktentwicklungszyklus benutzerdefiniert entwarfen. Die Verwendung von Drittanbieter-Modulen für Schnittstellen bringt einige Herausforderungen in Bezug auf die Fehlersuche und den Kundendienst mit sich. Dennoch wird ein Maschinensystem durch die Bereitstellung modernisierter Schnittstellen, die heute wesentlich komplexer sind als die alten Schnittstellen, erheblich verbessert.

Die neuesten Produkte auf dem HMI-Markt sind AR/VR und Gehirn-Computer-Schnittstellen. Derzeit befinden sich AR-/VR-Headsets noch in der Anfangsphase und werden in den meisten Fällen zur Fehlersuche, Wartung, Schulung und Evaluierung von Standorten und Systemen eingesetzt.

Implementierung von HMIs im Jahr 2024

Derzeit werden HMIs mit konventioneller und älterer Hardware und Software hergestellt, die sich auf drahtlose oder drahtgebundene analoge und digitale Kommunikation stützen, um den Datenverkehr zwischen zentralen Prozessoreinheiten, Mikrocontrollern und Peripheriegeräten abzuwickeln. Moderne HMIs umfassen Kommunikationsprotokolle, Informationsverarbeitung, Speicher, analoge und digitale Schnittstellen sowie Software und Betriebssysteme.

Viele moderne HMIs bestehen aus Mikrocontrollern oder Computersystemen mit einer Vielzahl von digitalen Schnittstellen und Peripherien, die in den Hauptchipsätzen integriert sind. Dadurch können Unternehmen, die HMIs entwickeln, schnell Funktionen wie Bluetooth®-, WiFi®- und USB-Kommunikationsschnittstellen, andere Protokolle und Peripherien hinzufügen, ohne diese Merkmale von Grund auf neu zu entwickeln. Diese Funktionen kommen dem Trend zugute, neben dedizierten HMIs auch mobile Features (z. B. Tablets und Smartphones) und Applikationen einzubeziehen. Die Applikationen müssen in Cloud-Diensten gehostet werden, aber die Nutzer können häufig auch ohne Verbindungsfähigkeit zum Internet auf sie zugreifen, wenn die Applikationen direkt über Bluetooth, Wi-Fi oder eine andere gängige Schnittstelle verbunden werden können. Dadurch kann ein Bediener ein Maschinensystem über ein Tablet oder Smartphone direkt steuern oder überwachen, ohne dass er sich in der Nähe des Systems befinden muss.

Web-basierte HMIs oder HMIs mit Webportalen zur Überwachung und/oder Steuerung gibt es schon seit einigen Jahrzehnten. In jüngerer Zeit sind Cloud-basierte Dienste entstanden, die diese internetbasierten Eigenschaften für Maschinensysteme unterstützen, und sie können sogar mehrere Maschinensysteme gleichzeitig unterstützen. Ältere Web-basierte Systeme verlangen in der Regel eine direkte Verbindung mit der HMI, die vom Webportal direkt gehostet wird. In einigen Fällen konnten proprietäre Systeme eine Abfrage durchführen und sogar eine gewisse Steuerung der mit dem Intranet verbundenen HMIs ermöglichen. Moderne Cloud-basierte Systeme werden jedoch häufig durch Software-as-a-Service (SaaS)-Cloud-Produkte unterstützt, die für verschiedene Maschinensysteme angepasst werden können. Diese rekonfigurierbaren und reprogrammierbaren Cloud-basierten Systeme bieten häufig Funktionen, die Analysen, Datenspeicherung, Automatisierung und Fernzugriff über sichere Konten ermöglichen. Mit diesen Funktionen können erfahrene Bediener auf die Daten des Maschinensystems zugreifen und es entweder lokal oder aus der Ferne über ein Terminal mit Zugriff auf die Cloud-basierte HMI steuern. Dadurch kann ein Bediener mehrere Maschinensysteme gleichzeitig über das gleiche Terminal bedienen, unabhängig davon, wo sich die Maschinen befinden. Dies ist besonders dann sinnvoll, wenn ein hoch qualifizierter Bediener benötigt wird, um eine Aufgabe mit einem Maschinensystem zu erledigen, und es nicht möglich ist, diesen Bediener dorthin zu bringen.

Ein Beispiel für einen solchen Anwendungsfall ist die Fernchirurgie (auch als Telechirurgie bezeichnet), bei der ein geschulter Chirurg über das Internet mittels Cloud-basierter HMI-Dienste robotergestützte Operationsgeräte fernsteuern kann. Durch die Fernchirurgie haben Patienten an abgelegenen Orten oder Patienten, die bestimmte Arten von Operationen benötigen, Zugang zu Chirurgen, die über die für einen bestimmten Eingriff erforderlichen Fachkenntnisse verfügen, ohne dass sich der Chirurg in der Nähe des Patienten befinden muss. Für ferngesteuerte Chirurgiesysteme ist typischerweise eine robotergestützte Schnittstelle (d. h. eine chirurgische Konsole) erforderlich, die mit den automatisierten chirurgischen Geräten vor Ort kompatibel ist. Durch künftige Fortschritte kann es jedoch möglich werden, dass mehrere verschiedene Schnittstellen für die Roboterchirurgie mit verschiedenen Arten von Roboterchirurgiesystemen kompatibel sind, wodurch der Zugang zu diesen Systemen und die Fähigkeiten des Bedieners weiter verbessert werden.

Es gibt zwar schon seit Jahrzehnten erste Prototypen und Pioniermethoden für AR/VR, doch erst in den letzten Jahren sind diese HMI-Systeme immer häufiger anzutreffen. Mit den Fortschritten bei der Miniaturisierung von Computern und der konzertierten Entwicklung von AR-/VR-Systemen, die benutzerfreundlicher und praktischer sind, gewinnen AR-/VR-HMI-Systeme in der Branche an Bedeutung. VR wird größtenteils für Schulungen und die Fernsteuerung von Systemen eingesetzt. Eine wesentliche Einschränkung beim Einsatz von VR-HMIs besteht darin, dass der Nutzer in der Regel absichtlich nichts von der Außenwelt außerhalb der immersiven virtuellen Erfahrung mitbekommt, was in vielen industriellen Umgebungen gefährlich oder lästig sein kann. Die Verwendung von VR als Display und Steuerung für ferngesteuerte Robotersysteme oder andere Maschinensysteme ist jedoch ein realistischer Weg für VR-HMIs in der Zukunft, der immer beliebter wird. Ein Beispiel hierfür sind VR-Bediener, die autonome mobile Roboter (AMR) zu Schulungszwecken oder im Falle einer Übersteuerung steuern können.

AR wird als Technologie für Applikationen beispielsweise im Bauwesen, bei der Fehlersuche und -behebung, bei der Wartung, Inspektion, Steuerung der Qualität, Montage und bei Schulungssystemen eingesetzt. Beispiele für aktuelle AR-Systeme sind Headsets mit brillenähnlichen Displays, mit denen Inhalte projiziert werden können oder die über transparente Displays verfügen, die wichtige Informationen/Computer-Displays und kleine Displays im Sichtfeld des Nutzers einblenden können (z. B. Microsoft HoloLens, Lenovo ThinkReality, RealWear Navigator und Apple Vision Pro). Es gibt auch AR-Systeme mit vollständigen visuellen Overlays, wie z. B. VR-Brillen, bei denen Kamerasysteme und Displays verwendet werden, um eine Sicht über die Brille und die Overlays hinaus zu ermöglichen. Dieser Ansatz ist jedoch noch weniger verbreitet als AR-Brillen, die transparent gestaltet sind. Sprachgesteuerte HMIs werden häufig mit AR-Systemen gekoppelt, um eine freihändige Steuerung der AR-Brille zu ermöglichen. ML-/KI-Technologien zur Verarbeitung natürlicher Sprache machen diese sprachgesteuerten Systeme in der Regel möglich. 

Darüber hinaus werden derzeit Anstrengungen unternommen, um Gehirn-Computer-Schnittstellen („Brain-Computer Interfaces“, BCI) als HMIs zu etablieren und zu verbreiten. Diese befinden sich noch im Experimentierstadium. In der Regel werden Hirnwellensignale aus einem Elektroenzephalogramm (EEG) oder einer Elektromyographie (EMG) verwendet, um die Steuersignale des Nutzers abzuleiten. Implantierbare BCI können jedoch auch direkt Signale des Gehirns erfassen, und ein Nutzer kann sogar in die Bedienung dieser Systeme als zusätzliche Kompetenz eingewiesen werden. Künftige Entwicklungen könnten eine bidirektionale Kommunikation ermöglichen, bei der eine neuronale oder kortikale Shunt-Schnittstelle direkt mit dem menschlichen Gehirn verbunden werden kann (z. B. der implantierbare BCI-Chip von Neuralink). Die wichtigsten Anwendungsfälle für BCI sind derzeit die Unterstützung von Menschen mit Beeinträchtigung durch die Wiederherstellung verlorener Sinne (beispielsweise Cochlea-Implantate und künstliche Augäpfel), die Erweiterung menschlicher Fähigkeiten durch eine nahtlosere Mensch-Maschine-Kommunikation und die Unterstützung der Gehirnforschung.

Fazit

HMIs entwickeln sich weiter und ermöglichen eine fortschrittlichere, konfigurierbare, intuitive und nahtlose Steuerung von Maschinen. Mit der fortschreitenden Miniaturisierung von Displays, Schnittstellen für die Steuerung und computergestützten Verarbeitungstechnologien werden immer mehr fortschrittliche HMIs in verschiedenen Branchen eingesetzt. Während HMIs früher an einem festen Standort und dediziert für ein einzelnes Maschinensystem installiert waren, können jetzt HMIs mit mobilen Geräten wie Tablets und Smartphones oder AR-/VR-Systeme zur Steuerung von Maschinensystemen auf der ganzen Welt über Cloud-basierte Internetsysteme eingesetzt werden, die entweder über Festnetz oder sogar drahtlos über 5G und modernes Wi-Fi verfügen. Künftige HMIs können sogar als Gehirn-Computer-Schnittstellen in das Gehirn eines Bedieners implantiert werden, um visuelle Informationen zu liefern und Steuersignale des Bedieners ohne physischen oder akustischen Eingang zu verarbeiten.

[1]

„Human Machine Interface Market Size, Share & Trends Analysis Report by Product (Display Terminals, Interface Software, Industrial Pcs, Others), by Application, by Region, and Segment Forecasts, 2023 - 2030“, Research and Markets, Oktober 2023, https://www.researchandmarkets.com/reports/5899530/human-machine-interface-market-size-share-and.

 [2]

Kavyanjali Reddy et al., „Advancements in Robotic Surgery: A Comprehensive Overview of Current Utilizations and Upcoming Frontiers“, Cureus 15, Nr. 12 (Dezember 2023): e50415, https://doi.org/10.7759/cureus.50415. 

 [3]

Baraka Maiseli et al., „Brain-computer interface: Trend, challenges, and threats“, Brain Inform 10, Nr. 1 (August 2023): 20. https://doi.org/10.1186/s40708-023-00199-3.