Skip to main content

2024年以降のヒューマンマシンインターフェイス: HMI の台頭

Published Date

出典: Lucija/stock.adobe.com

はじめに

映画やテレビを通じて、私たちは「メトロポリス」の工場の多くのダイヤルやレバーから、「スタートレック」のホログラム、「マイノリティ・リポート」のタッチインターフェイスや AR（拡張現実）に至るまで、「未来的」なヒューマンマシンインターフェイス（HMI）の進化を見届けてきました。近未来のマーベル・シネマティック・ユニバースに登場する3Dホログラフィックインターフェイスへのコマンドモジュールでさえ、すぐそこにあるように思えます。しかし、私たちのテクノロジーはどの程度まで進化したのでしょうか？  

この記事では、タッチ（触る）、ジェスチャー、音声、さらにはブレインコンピューターインターフェイスなど、現在のHMIのテクノロジーを掘り下げ、それぞれがどのように実装されているかを紹介しています。


HMI入門

HMIは、オペレーターインターフェイスターミナル、ローカルオペレーターインターフェイス、オペレーターターミナルとも呼ばれ、人間が機械と通信し、制御し、フィードバックを受け、プログラム出来るという無数の方法に触れる幅広い技術のカテゴリーです。この用語は、人間と機械の間のあらゆる中間的なものを表すのに使われます。しかし、この用語は、大規模な産業システムや複雑な機械の制御やフィードバックに使われるコンソールやターミナルなど、産業用HMIについて議論するときによく使用されています。HMIは、キーパッドやタッチコントロールのようなオペレータからの入力に使用されるシステム、フィードバックシステム、または機械システムからの入力とフィードバックに使用されるあらゆる技術の組み合わせを指すことがあります。HMIは、商業、産業、自動車、ヘルスケア、航空宇宙／防衛などの主要産業でよく見られます。

これまで機械との通信には、コントロールコンソール、キーパッド、マウスコンピューターコントロール、コマンドラインインターフェイス、グラフィックユーザーインターフェイス（GUI）、ライトアップディスプレイなどが使われてきました。効率を高め、インターフェイス設計を合理化するために、現代のシステムの多くは、コンピュータ、タブレット、スマートフォン、および現場のシステムを最小限のHMIに抑えた仮想制御方式に移行しています。

最近ではタッチディスプレイが普及し、ジェスチャーや音声で操作するシステムが主流になってきています。ジェスチャーや音声コントロールを活用するいくつかの新技術は、ARやバーチャルリアリティ（VR）を含む、より近代的なHMI技術の採用を加速させています。


HMIの現状

現在の予測では、HMI市場規模は年平均成長率（CAGR）にして約10.4％成長し、2030年には116億米ドルに達すると見込まれています。多くのレガシー産業システムや機械が、より近代的なHMI技術に置き換えられ、アップグレードされ、あるいは改良されるにつれて、HMIに対する需要が高まっています。このような機能強化は通常、効率を高め、機械学習（ML）、人工知能（AI）、高度な分析を活用する最新の技術により適した、より高度な運用データと制御を提供するために行われます。

現在のHMIは、現在も稼動している古いシステムのレガシーバージョン、最新のシステム、より未来的なインターフェイスを特徴とする最近の実験的システムが混在しています。多くの産業用システムと同様、安全性、オペレータートレーニングの必要性、ベンダーと販売業者の動向、その他の市場動向によって、主流のHMIは技術的進歩にやや遅れをとっています。新しいHMI技術が特定のアプリケーションに浸透するには、数年から数十年かかることがあり、レガシーHMI技術は、標準、安全プロトコル、規制に組み込まれているものさえあります。

以下は、現在のHMI技術のほんの一部となります：

  • コンソール／ターミナルインターフェイス（物理的アクチュエータ）
  • コマンドラインインターフェイス（CLI）
  • グラフィカルユーザインタフェイス（GUI）
  • ウェブベースおよびクラウドベースのインターフェイス
  • タッチディスプレイ（タッチスクリーン）インターフェイス
  • タブレットとスマートフォンのインターフェイス（例：ポータブルでワイヤレスに接続されたハードウェアの使用）
  • ジェスチャーベースのインターフェイス
  • ボイスコントロール（音声コントロール）／ボイスアクティベートインターフェイス（音声起動インターフェイス）
  • ARおよびVRヘッドセットとコントロールアクセサリのインターフェイス
  • ブレインコンピュータインターフェイス

最近まで、ほとんどの機械のシステムはコンソールや端末ベースのインターフェイスを使用していましたが、タッチディスプレイインターフェイスは、近代化された機械システムに一般的に搭載されるようになりました。さらに最近の進歩として、スマートフォンやタブレットで制御できるインターフェイスが利用できるようになりました。これらは大抵の場合、ベンダーのアプリや、既存の機器の制御オプションを強化するサードパーティのアプリを通じて利用可能です。タッチディスプレイ、ウェブベース／クラウドベース、タブレット／スマートフォンインターフェイスなど、より近代化されたインターフェイスを備えたレガシーマシンシステムの多くで、モジュラーアップグレードまたは完全なレトロフィットシステムが利用可能です。

ML/AIによって実現された自然言語処理を使用する音声制御システムは、現在、スマートホームのコントローラ、スピーカ、オーディオビジュアルエンターテイメントシステムなど、至るところで使用されています。しかし、セキュリティや安全上の理由から、産業用システムではあまり使われていません。産業用および医療用アプリケーションでは、ボイスコントロールインターフェイスは、ペース、安全性／セキュリティへの懸念、およびユーザー／オぺレーターが慣れ親しんでいる可能性が高いことから、二次的なHMIに過ぎないことが多く、主なHMIは触覚入力や手によるコントロールを伴う方法であることが多いです。

これらの近代化されたシステムのほとんどで、新しいインターフェイスは通常、ライセンス供与されたモジュールか、メーカーやベンダーが直接購入したものであり、一般に社内で設計されたものではありません。これは、多くのベンダーが製品開発サイクルの一環として独自のインターフェイスをカスタム設計していた過去とは大きく異なっています。インターフェイスにサードパーティモジュールを使用すると、トラブルシューティングや顧客サービスの面でいくつかの課題が生じます。それでも、レガシーインターフェイスよりもはるかに複雑になっている現代化されたインターフェイスを提供することで、機械システムを大いに強化することができます。

HMI市場に最近参入してきたのは、AR/VRとブレインコンピュータインターフェイスです。現在、AR/VRヘッドセットはリリースの初期段階にあり、トラブルシューティング、メンテナンス、トレーニング、現場/システム評価に使用されることがほとんどです。


2024年、HMIはどのように導入されるか

現在、HMIは従来のレガシーハードウェアとソフトウェアを使用して作られており、中央演算処理装置、マイクロコントローラ、周辺機器間のデータトラフィックを処理するために、無線または有線のアナログおよびデジタル通信に依存しています。最新のHMIの構成には、通信プロトコル、情報処理、ストレージ、アナログおよびデジタルインターフェイス、ソフトウェアとオペレーティングシステムが含まれます。

最近のHMIの多くは、マイクロコントローラやコンピュータシステムで作られており、メインチップセットには、さまざまなデジタルインターフェイスや周辺機器が統合されています。これにより、HMIを開発する企業は、Bluetooth®、Wi-Fi®、USB通信インターフェイス、その他のプロトコル、周辺機器などの機能を、ゼロから作成することなく迅速に追加することができます。この機能の能力は、アプリケーション専用HMIと並んでモバイルHMI機能（タブレットやスマートフォンなど）を搭載する傾向にメリットをもたらします。クラウドサービスはアプリケーションを管理しなければいけませんが、アプリケーションがBluetoothやWi-Fiなどの一般的なインターフェイスで直接接続できれば、ユーザーはインターネットに接続しなくてもアプリケーションにアクセスできることがほとんどです。このようにして、オペレーターはタブレットやスマートフォンを使って、システムに近接することなく機械システムを直接制御したり監視したりすることができます。

ウェブベースのHMI、つまり監視アクセスや制御を可能にするポータルサイトを備えたHMIは、数十年前から存在しています。さらに最近では、クラウドベースのサービスが、こうしたインターネットを利用したマシンシステムの機能をサポートするようになり、複数のマシンシステムを同時にサポートすることもできるようになりました。レガシーウェブベースのシステムは、通常、ポータルサイトが持つHMIと直接接続する必要があります。場合によっては、プロプライエタリシステムがポーリングし、イントラネットに接続されたHMIの制御を可能にすることもあります。しかし、最近のクラウドベースのシステムは、さまざまな機械システムに適応できるSaaS（Software-as-a-Service）クラウド製品によってサポートされていることがよくあります。これらの再構成可能で再プログラム可能なクラウドベースのシステムは、多くの場合、分析、データストレージ、自動化、安全なアカウントからのリモートアクセスを提供する機能を備えています。この機能により、熟練したオペレーターは、クラウドベースのHMIにアクセスできる端末から、マシンシステムのデータにアクセスし、ローカルまたはリモートで制御することができます。これにより、オペレーターは、機械の設置場所に関係なく、同じ端末から複数の機械システムを同時に操作することができます。このような能力は、機械システムでタスクを完了するために高度に熟練したオペレーターが必要で、そのオペレーターを移動させることが不可能な場合に特に有用です。

例えば、遠隔手術（telesurgeryとも呼ばれる）では、熟練した外科医がクラウドベースのHMIサービスを介してインターネット経由でロボット手術装置を遠隔操作することができます。遠隔手術は、遠隔地にいる患者や特定の種類の手術を必要とする患者に、外科医が患者の近くにいなくても、特定の手術を行うのに必要な専門知識を持った外科医を利用できるようにしました。遠隔手術システムには通常、現場の自動手術装置と互換性のあるロボット手術インターフェイス（すなわち手術コンソール）が必要です。しかし、将来の進歩により、さまざまなタイプのロボット手術システムと互換性のある数種類のロボット手術インターフェイスが可能になり、これらのシステムへのアクセスやオペレーターの技量がさらに拡大する可能性があります。

AR/VRの初期のプロトタイプや先駆的な手法は、数十年前に登場し始めましたが、これらのHMIシステムが普及したのはここ数年のことです。コンピューティングの小型化が進み、よりユーザーフレンドリーで実用的なAR/VRシステムを実現するための共同開発が進む中、AR/VR HMIシステムは業界で支持を集めつつあります。VRは主に訓練演習や遠隔システム制御に使用されています。VR HMIを導入する際の主な制限は、一般的にユーザーが没入型仮想体験の外側の世界を意図的に意識しないことであり、これは多くの産業環境において危険であったり、面倒であったりする可能性があります。しかし、遠隔ロボットシステムやその他の機械システムの表示と制御メカニズムの両方にVRを使用することは、将来的にVR HMIの実現可能な道であり、その人気は高まっています。この例として、訓練やオーバーライドの際に自律移動ロボット（AMR）を操作できるVRオペレーターが挙げられます。

ARは、建設、トラブルシューティング、メンテナンス、検査、品質管理、組み立て、トレーニングシステムなどのアプリケーションを可能にする技術として使用されています。現在のARシステムの例としては、ゴーグルのようなディスプレイオーバーレイを持つヘッドセットがあり、重要な情報／コンピュータディスプレイやユーザーの視野内の小型ディスプレイを投影したり、透明なディスプレイをオーバーレイすることができます（Microsoft HoloLens、Lenovo ThinkReality、RealWear Navigator、Apple Vision Proなど）。また、VRゴーグルのように完全な視覚的オーバーレイを持つARシステムもあり、これはカメラシステムとディスプレイを使用して、ゴーグルとオーバーレイ以上の視界を提供します。しかし、このアプローチは、シースルー機能を提供するARメガネに比べると、まだ一般的ではありません。ボイスコントロールHMIは、ARメガネをハンズフリーで操作できるようにするため、ARシステムと組み合わされることがよくあります。自然言語処理ML/AI技術は、通常、これらのボイスコントロールシステムを可能にします。

最後に、HMIとしてブレインコンピュータインターフェイス（BCI）を開拓し、普及させようとする取り組みが現在進行中となっています。これらはまだ実験段階であり、一般的には脳波（EEG）や筋電図検査（EMG）の脳波信号を用いてユーザー制御信号を導き出すことが行われています。しかし、埋め込み型ブレインコンピュータインターフェイス（BCI）は、脳信号を直接感知することもでき、ユーザーはこれらのシステムを操作する訓練を受けることもできます。将来的には、神経シャントや皮質シャントが人間の脳と直接インターフェイスできるような双方向通信を提供しようとするかもしれません（Neuralink社の埋め込み型BCIチップなど）。現在、BCIの主な用途は、失われた感覚を回復することで障害者を支援すること（人工内耳や人工眼球など）で、よりシームレスな人間と機械のコミュニケーションを可能にすることで人間の能力を増強すること、そして脳研究を促進することです。


まとめ

HMIは、より高度で、設定可能で、直感的で、シームレスな機械の制御を可能にするために進化しています。ディスプレイ、コントロールインターフェイス、コンピュータプロセッシングの技術が小型化され、より身近なものになるにつれて、より高度なHMIがさまざまな産業で導入されるようになってきています。以前はHMIは決まった場所に設置され、1つの機械システム専用で使用されていましたが、現在ではタブレットやスマートフォンなどのモバイルデバイスHMIやAR/VRシステムを使用し、ハードライン、あるいは5Gや高度なWi-Fiを介したワイヤレスでも使用できるクラウドベースのインターネットシステムを通じて、世界中の機械システムを制御することができます。将来のHMIは、視覚情報を提供し、物理的または聴覚的な入力なしにオペレーターからの制御信号を処理するために使用できる、オペレーターの脳に埋め込まれたブレインコンピュータインターフェイスになるかもしれません。

[1]

“Human Machine Interface Market Size, Share & Trends Analysis Report by Product (Display Terminals, Interface Software, Industrial Pcs, Others), by Application, by Region, and Segment Forecasts, 2023 - 2030,” Research and Markets, October 2023, https://www.researchandmarkets.com/reports/5899530/human-machine-interface-market-size-share-and.

 [2]

Kavyanjali Reddy et al., "Advancements in Robotic Surgery: A Comprehensive Overview of Current Utilizations and Upcoming Frontiers." Cureus 15, no. 12 (December 2023): e50415, https://doi.org/10.7759/cureus.50415. 

 [3]

Baraka Maiseli et al., "Brain-computer interface: Trend, challenges, and threats." Brain Inform 10, no. 1 (August 2023): 20. https://doi.org/10.1186/s40708-023-00199-3.