観客を参加者にする没入型テクノロジー
世界とのつながり方を変える技術
マウザー・エレクトロニクス ジョン・ゲイベイ
画像：pickingpok/Shutterstock.com）
より現実に近く
人類は言葉を話す前から、身振り手振りで情報を伝え理解していた。やがて炭を使い、ペンや鉛筆を手に取って文字や絵をかくようになり、はじめて、明確で具体的な情報を伝え、知識やニュース、体験を記録として残せるようになった。しかし、創造と表現の物語はそこで終わらなかった。私たちは今、音響・映像技術から双方向型通信技術まで、さまざまな方法で体験や知識を共有することができる。
テクノロジーが作り出した環境に没入するというアイデアは、実は新しいものではない。ステレオヘッドフォンを使うことも、ひとつの没入型テクノロジーの形と言える。たとえば、目を閉じて森の音や生き物の鳴き声を聞くだけでも、自然の中にいるような気分になれる。ビデオも映画も部分的には没入環境だが、まだ現実から遠く感じられる。しかし、システム設計、ディスプレイ技術、オーディオ技術、そしてミックスド・シグナル・デジタル技術の進歩により、私たちは情報の受け手から作品の参加者に変わろうとしている。
課題を克服
視覚的没入デバイスとして最初に登場したのはビデオヘッドセットだった。Stunt Masterなどの初期の製品は、せいぜい目を覆う解像度の低いモニター程度のもので（図1、左）、 解像度がVGAの4分の1（320x240）しかなく、頭に着ける一人用のディスプレイにすぎなかった。ヘッドトラッキング、双方向性、ビルトイン・オーディオも組み込んでいなかったが、これが発端となってウェアラブル技術の人間工学および視覚面での開発が始まった。初期のユーザーインターフェイスはよく考えられていたが、あまり効果的でなかった。たとえば、赤外線感知グローブは、コンピューターとレシーバで手の動きを検知し理解するしくみだった（図1、右）。
図1：没入型テクノロジーの初期の製品は最小限の機能しかなかったが、よく考えられていた。Stunt Masterヘッドセット（左）の解像度はVGAの4分の1で、Lo-Fiスピーカーだった。赤外線（IR）グローブコントローラー（右）はストレイン技術で指の位置を測定し、IR LEDで手の動きとボタン押下を伝送した。（画像：マウザー・エレクトロニクス）
もう一つ障害となったのがメモリチップとモジュールだった。当時のメモリチップとモジュールは今の基準からすると低速度で密度が低く、3D画像を保存できる深さもなかった。そのためヘッドトラッキングは実際には使用できず、エネルギー管理も今のレベルになかった。
今、この技術がようやく進歩し、実現の入口までやってきた。テクノロジーが作り出した環境への没入を日常の現実世界でうまく活用すれば、個人や社会に利益をもたらすだろう。
期待できる現実世界での活用例
現在、当たり前のように受け入れられている多くの技術がそうだったように、基礎技術はしばしば防衛技術から生まれ、民間技術に発展する。たとえば、ブラウン管、テレビ、ラジオ、マイクロ波がこれに当たる。没入型テクノロジーでも、フライトシミュレーターなどの防衛訓練用の技術が没入環境を生み出し、現在発展を遂げている。
今では単純に思えるこの技術が、3Dマッピングと3D表示、遠近感処理、メモリ管理、割り付け技術、シェーディングと光源処理、そしてリアルタイムの画像スティッチングとスクロールを生み出す先駆けとなった。さらに、この技術はマルチポートまたは冗長メモリブロックを採用し、一方のメモリブロックでビデオをリアルタイム再生しながら、もう一方を次のシーケンス用に更新する。
これまで多くのマニアがフライトシミュレーターを娯楽として楽しんできたが、現実世界における没入型テクノロジーの可能性は今ようやく明らかになりつつある。没入型テクノロジーは、ゲームの分野で手軽で人気の高い娯楽となっているが、重要な用途においても他の最新の技術と統合することで、実際に人命をも救えるようになるだろう。
たとえば、飛行機のエンジンに修理が必要な場合を考えてみよう。これまでは保守マニュアルを確認しながら修理するのが鉄則だったが、没入型仮想技術を使用すればこの作業をさらに改善できる。技術者は平面図、あるいは等角図やパラメトリック図を見る代わりに、目の前に浮かび上がったエンジンを見ることができる。エンジンを回転させ、仮想的に分解し、中を直接見て、アクセスするリリースクランプやボルト、アセンブリの場所を確かめられる（図2）。インタラクティブに参照できる確かな仮想投影があれば、当然、自動車や電化製品など、実質的にどんな機械の修理手順でも改善できるし、理解しやすくなる。
これにセンサのデータと仮想画像を合わせると、もっと興味深いことが起こる。修理技術者はエンジンの中を見て欠陥のあるベアリングを見つけ、埋もれて見えないボルトにアクセスする方法を判断できるようになるのだ。
図2：技術者と整備士は作業を始める前に、仮想マシンで複雑なアセンブリの込み入った細部を観察できる。これはトレーニングと実際の修理に役立つ。（画像：Gorodenkoff/Shutterstock.com）
最も期待され、影響を与えると思われるのが医療分野だ。たとえば、MRI（磁気共鳴画像）の高解像度のスキャンデータがあれば、医師はあらゆる角度から患者の体内を撮影し、腫瘍を調べることができる。さらに内側が見えるように拡大表示することもできる。
双方向型の遠隔操縦機（図1、右のコントロールグローブより分解能が高いもの）と組み合わせると、ロボットツールを使って、不安定な人間の手よりも正確に繊細な外科手術を行える。センサ（この場合は触覚フィードバック）と組み合わせると、腕のいい外科医なら組織を傷つけずに把持、引き、移動、縫合を行える（図3）。
図3：VRとARにより、医師は遠隔操作でも、人間の力では得られない精度と微妙な制御力を発揮して、繊細な外科手術を実施できる。（画像：Gorodenkoff/Shutterstock.com）
このテクノロジーは遠隔手術も可能にする。たとえば、火星に向かう宇宙飛行士が百万マイル離れた場所にいても、外科医は地球から手術ができる。外耳道の洗浄や閉鎖動脈のような簡単な手術も可能で、医師は無重力に適応する必要もない。とりわけ遠く離れた場所では、信号の遅延時間という課題がある。そのため、遅延時間や信号が途絶えた場合には、人工知能が動き動作を調整する。
没入型テクノロジーは、地上のどこにいても人命を救うことができる。猛吹雪の中でGPSに誘導してもらう場面を想像するといい。すべてが雪に覆われていると、どこが道で、どこが湖かがわからない。
しかし、センサと正確なGPSを組み合わせた没入型VRディスプレイなら、リアルタイムビデオに実際の道路を重ね、走行すべき場所と走行してはいけない場所を示してくれる。この例で注目すべき点が二つある。一つは、人間の五感を凌駕するセンサデータを没入型体験に加えることで、人間の力だけでは不可能な高い能力が得られること。これがVRとARを組み合わせたときの違いである。
もう一つは、VRとARによって、命を救う仕事が遠隔地や仮想空間で実行できるという社会的利益がもたらされることだ。たとえば、爆弾処理を行うときに、多関節ロボットのような仮想実在装置を危険な場所に送り込んで、人の命を危険にさらさずに、慎重な作業を行うことができる。3D空間認識能力があれば、爆弾処理班はどんな2Dシステムよりもはるかに的確に空間を認識できる。
他にも原子炉のバルブを手動で閉めるような危険な作業も、2Dシステムだけで行うよりも安全かつ巧妙に遂行できる。こうした精密な遠隔・仮想操作で鍵となるのは触覚フィードバックである。遠隔手術など、命にかかわる処置では、操作者が力覚フィードバック技術によって対象物の感触を確かめられることが不可欠だ。シンプルな赤外線（IR）グローブは、HaptX社の工業グレードモデル（図4）のような、マルチセンサおよびマルチアクチュエータを搭載するグローブに置き換わっている。
図4：高精度センサが指と手の動きやジェスチャを正確に検知し、ハプティクス力覚フィードバック技術が触覚感受性と力制御を劇的に高める。（画像：HaptX）。
最近開発された興味深い技術に、グローブがなくても、ビデオに基づいてジェスチャを検出、認識、制御し、触覚フィードバックを行う技術がある。 巧妙に配置されたビデオカメラを使って手の動きをモニターし、巧みな超音波インターフェイス技術で操作者に実際に触覚フィードバック（一種の超音波力場）を与える（図5）。
図5：高解像度ビデオカメラが手の動きをとらえる一方で、超音波エミッタが正確な位相制御を使って操作者に動きを感じさせる。（画像：マウザー・エレクトロニクス）
VR（仮想現実）とAR（拡張現実）
映画『ターミネーター』でサイボーグを演じたアーノルド・シュワルツェネッガーのように、現実に情報を重ねて見ると現実から切り離されたように感じる人もいるだろう。しかし、ARとVRにはそれぞれに適した役割がある。
一般に、ARではビデオが透明な画面に映し出される。このニーズを最適に満たすのが、いわゆる「有機発光ダイオード（OLED）」だ。各画素が発光点であるため、バックライトや走査型レーザーなしで画像をレンダリングできる。
3Dビデオを組み合わせたVRヘッドセットは、VRおよびAR体験に適している。ただし、VRヘッドセットでは、ステレオカメラのバランス調整など、悪条件下で現実世界が遮断される可能性がある。透明でコンパクトな仮想世界であれば、強烈な光や猛吹雪のホワイトアウトにも遮られない。
図6：ARでは、現実の感覚の上に情報を重ね合わせることができる。着色技術を使うと、熱を色で識別できるようにするなど、人間の五感の範囲を広げることもできる。（画像：HQuality/Shutterstock.com）
人間が五感で感じ取る前に、潜在的な危険を検知し警告できれば、間違いなく安全上のメリットになり、その範囲は人間の認識に限定されない。サーマルテクノロジーを使えば、熱を色分けして可視化できる。この技術を使えば、運転中、進路上にいる人や動物を、視界に入る前に確認できるようになる。紫外線カメラは肉眼では見えない細部を捉えることができる。
人の視覚範囲を無線周波数（RF）からX線に拡張すると、診断および故障点検技術が大幅に向上する。宇宙、原子炉、潜水艦などの環境では、潜在的な問題が実際の問題となる前に見つけて修理できなければならない。
映像以外にも
ここからがおもしろい。人間が生き残るためには、視覚以外の感覚も必要だ。場合によっては聴覚は視覚と同じくらい重要だという人もたくさんいる。私たちは、見えない危険を立体音響聴覚で検知し、おおよその位置をつかむことができるから、人類として生き残っている。
没入型テクノロジーと没入型体験では、聴覚が重要な役割を果たす。長い間、大半の人が満足していたステレオは、サウンドスケープ（音響風景）を正確に3Dレンダリングしていない。サラウンド音響技術として設計され、設置されているものもあるが、それもすべて追加スピーカーとサブウーファー次第である。これを室内に設置するのは簡単だが、ヘッドセットとなると至難の業だ。
デジタル信号処理アルゴリズムはステレオ音響情報を取り込み、サラウンド音響規格の特定のチャンネルを抽出する。そして合成されたトラックを増幅し、サラウンド音響スピーカーに適用する。さらにステレオとサラウンド音響の5.1ch、7.1ch、7.2ch、9.2chの間で相互に変換が行われる。
ここでテクノロジーの分化が必要になる。エンターテインメントでは、再現性が最も重視される。たとえば、サラウンド音響5.1chで録音されたものは、5.1chシステムで再生するのが一番だ。ARでは、3Dで感じて3Dで再現できることが重視される。ステルスミッションの兵士は、サーマルテクノロジーで敵を識別できるかもしれないが、それにフィルターされた指向性サラウンド音響が加われば、さらに精度を高めることができる。敵が壁の向こうに隠れても、3D音響なら呼吸や心拍音を検知できる。
ドルビーアトモスなどの最新のシステムは、映画館のような本格的な没入体験のサラウンド音響用に設計されている。これらのシステムには最大64台のスピーカーが使われることもあるが、それはウェアラブルのヘッドセットには多すぎる。処理リソースも必要になる。オーディオは従来とは違う。それはデジタルモデリングされたサウンドオブジェクトであり、その特徴、距離、動き、方向によって音響トラックが合成され、複数のスピーカーに分配される。劇場ならいいが、ウェアラブルの没入型システムでは実現できそうもない。
実現はすぐそこに
とはいえ、没入型テクノロジーのヘッドセットの設計と構築はもう手の届くところまで来ている。デバイス設計のパズルのピースは揃った。AR、VR、MR（複合現実）システムのすべてについてそう言える。
Thin Film Technology（TFT）社のディスプレイはあらゆるところで使用され、手ごろな価格で複数のルートから製品として入手できる。ディスプレイはLEDバックライトが必要で遮光タイプだが、立体カメラと組み合わせれば、VRはもちろん、ARにも使用できる。
一番いい選択肢はOLEDかもしれない。OLEDなら柔軟性があって、折り曲げたり変形したりできるし、透明なので画面の向こうが透けて見える。何よりいいのは、透明なフィルムに埋め込まれた微細なLED素子が発光するので、バックライトが不要なことだ。ただし、OLEDディスプレイはあるにはあるが、TFTほど簡単に入手できない。別のオプションとして、スキャニングレーザーヘッドアップ技術もある。
スマートフォン革命と自撮りの流行のおかげで、複数のメーカーが超小型の高解像度ビデオカメラを製造している。小型なのでメガネのフレームはもちろん、完全没入型の遮光ヘッドセットにも最適に取り付けられる。
オーディオプロセッサと小型のフルレンジのスピーカーも、確かな実績のある信頼性の高いサプライヤーから購入できる。モバイル機器業界は、音楽鑑賞のニーズを受けてこのテクノロジーを急成長させた。
これらの設計を実現する上で最も重要な技術の進歩は、高度な多軸加速度センサだろう。これもすでに利用できる。頭の動きをモニターできる速度を備えているので、速くて応答性に優れたビデオ処理・レンダリングシステムと組み合わせれば、クリアで酔わない映像を提供できる（注：表示がヘッドトラッキングより遅れると、認識のずれによってVR/AR酔いが生じる可能性がある）。
超高密度高速メモリ、エネルギー管理チップ、高密度バッテリなどの技術もすべて進歩したことで、この技術が費用対効果と効率性を十分に兼ね備えた、待望のユーザーインターフェイスとなる下地は整った。さらに高帯域、高周波無線通信技術により、没入型デバイスを完全にテザリングフリーにすることも可能だ。
設計オプションと検討事項
AR/VRの応用の進め方を決定する際に検討すべきこととして、コスト、市場投入までの時間、信頼性、そして特殊機能がある。商用・民生用で特に重要なのは、コストと市場投入までの時間。防衛・航空宇宙用の設計では、耐久性、信頼性、特殊機能が特に優先される。それ以外はすべてこの間に入る。
いずれの場合でも、実現可能性の調査とプロトタイピングは既存のヘッドセットをOEMすることで実施できる。複数の会社がさまざまな価格と性能レベルの製品を提供しており、 ケーブル付きとケーブルなしがある。最も話題を集めているのがOcculus Quest 2。価格は300米ドル程度だ。コンピュート・グラフィックエンジン内蔵、ワイヤレス通信、周辺機器用のBLUETOOTH® インターフェイスを備え、適切なヘッドトラッキングを実現する。Sony PlayStation®にも競争力のあるモデルがあり、価格も魅力的だ。HTCとValve IndexのVRキットも特筆に値する。
開発ツールもあり、シーンスケープと複数キャラクターのインタラクションを可能にする。グラフィックエンジンとCPUを搭載したヘッドセットも登場し、このすばらしく新しい仮想世界を支援するコミュニティは発展しつつある。
新たな仮想世界へ
VR（仮想現実）とAR（拡張現実）はどちらもユーザーを人工的に作られた空間に引き込む。しかし、VRが現実から切り離されたヘッドセットの中の世界に没入する体験であるのに対し、ARは情報強化された現実世界に没入する体験で、人の五感の領域を広げることができる。幸いにも私たちは、それを統合して、教育、機械修理、手術、ナビゲーションを向上させ、感覚の領域を拡張できる世界を作り出す技術を手にしているのである。