その真偽に迫る

マウザー・エレクトロニクス　トレイシー・ブラウン

（画像元：ImageFlow/Shutterstock.com）

エクステンデット・リアリティ（XR）、空間コンピューティング、ホログラム、ボリュームデータについて話すとき、大抵の人は、その体験に期待を持つ。数年前、私は初めてVRのヘッドセットを着けた。その時、何を期待していのか覚えていないが、がっかりしたことは覚えている。現状を見れば、まだ「アバター」レベルの没入体験すら完全には実現していない。

それでも、人々は没入型テクノロジーの希望を捨てず、エンジニアがそれを実現してくれると思っている。ほぼすべての業界は没入型テクノロジーのもたらす効果について楽観的であり、その市場もエンジニアの想像力とともに広がっている。もちろん期待に応えるのは難しいが、課題を解決するのがエンジニアの仕事だ。でも、具体的にどんな課題に取り組んでいるのだろう。

本当に没入できる体験を作るには、センサ、マシンビジョン、3Dスキャン、電源管理など、数百個ものコンポーネントをユーザーデバイスに搭載する必要がある。たとえば、ボリュメトリックビデオの場合は、アクションの周囲に数百個のセンサとカメラを配置する。では、テクノロジー自体に問題があるのだろうか。       

HaptXの共同設立者でカリフォルニア・ポリテクニック州立大学医用生体工学部教授のロバート・クロケット博士は、そうではないという。彼の考えでは、没入型テクノロジーの分野ではシステム思考型のエンジニアがよい成果を上げられる。すぐに手に入る高品質の既製品コンポーネントがあれば、エンジニアはすべてのコンポーネントをひとつのシステムとしてうまく機能させることに集中できる。

つまりそれは、顧客の要件や重要事項を検討するなど、設計前の作業に十分取り組んでから、システムを設計し、問題になりそうなところを特定することである。HaptXでは、膨大な数の試作品を作り、パズルのピースを全部一つにまとめるための設計上の課題を突き詰めた。さらに、システムの信頼性に納得できるまで、何度も何度もテストを繰り返した。HaptXが作ったシステムはその名のとおりグローブ型で、仮想現実に本物のような「触覚」体験を加える。

パフォーマンス的には、これくらい真に迫った体験を目指す必要がある。もちろん、必要なコンポーネントがすべて広く手に入る可能性は高いが、どれを選んで使うかはしばしば用途次第になるだろう。

たとえば、VRで本物のような視覚体験を提供する場合について考えてみよう。そのVRヘッドセットに最高の解像度は必要だろうか。まあ、それはケースバイケースだろう。

VRゲームやデジタルツインのウォークスルーなら、最高レベルの解像度はいらないかもしれない。これらの場合は、閉合の法則（ゲシュタルトの法則）のおかげで、私たちの目はオブジェクトに小さな欠落があっても、スムーズなひとまとまりとして知覚する。だから、解像度が低くても大丈夫かもしれない。しかし、舞台を手術室に移して、複雑な脳外科手術を行う場合は、できるだけリアルなバーチャル頭蓋を用意して手術してもらう方がいい。とはいえ、高解像度が不要な場合でも、解像度が高い方が市場シェアの獲得には役立つかもしれない。

多くの場合、解像度は遅延ほど重要ではない。「Motion-to-photon」の遅延時間は、エンジニアたちが打ち破ろうとしている壁の一つだ。理想的には、ユーザーの空間体験と現実の区別がつかない方がいい。専門家は、そのためには遅延を15ms以下にする必要があるという。それ以上になると、ユーザーはフラストレーションを感じるだけでなく、吐き気を催すことや、使用事例によっては潜在的な危険が生じることもあるそうだ。遅延という難題を解決できなければ、ハードウェアを開発しても廃棄処分になるだろう。

既製品のセンサシステムはまだその15msの壁を越えていないが、徐々に良くなってきている。Oculusは、コンポーネントメーカーの答えを待たずに、対応サンプリングレート最大1000Hz、遅延わずか2msのセンサを自社開発した。Oculusができると証明したわけだから、皆、この波に乗ってほしい。

クロケット博士が言うとおり、システムは数百個のコンポーネントで構成されるので、使えるスペースはほんの少ししかない。たとえば、エクステンド・リアリティ（XR）に取り組んでいる場合は、どの組み込みビジョンインターフェイスを選ぶかが非常に重要になるが、ごくわずかな配線スペースしかないから、できるだけシンプルにする必要があるだろう。

5GB/sの帯域幅を持つUSB 3.0は、優れた多目的インターフェイスであり、基本的にプラグ・アンド・プレイだが、コネクタが大きく、ケーブルも硬いため、多くのスペースを必要とする。ただし、コスト削減と開発時間の短縮を図れるだろう。恐らくそうした理由から、ヘッドマウント型VRデバイスにはMIPI CSI-2（Mobile Industry Processor Interface）規格が一番よく使われている。また、MIPIは6GB/sの高帯域幅を持ち、USB 3.0よりも高速だ。さらにCSI-2のマルチコアプロセッサは、CPUのリソースをほとんど使用しない。

ユーザーが装着するデバイスを開発するときは、電力調整にも注意する必要がある。画面の解像度とリフレッシュレートが上がれば上がるほど、ディスプレイの消費電力は高まる。Oculusは自社のデベロッパーサイトで、デバイスのガバナープロセスが「内部温度センサーを監視し、温度が一定レベルを超えると補正動作を行い、誤作動や表面の過熱状態を防ぐ。この補正動作はクロックレートを下げることで構成される」と述べている。さらに、「すべての動作はバッテリーの消費とデバイスの加熱を引き起こす」ので、最適化はどんなにやっても、決して無駄にならない、と助言している。

こうした機能はどれも没入型体験には重要であるが、まだ足りない大切なパズルのピースがある。ハプティクス（触覚技術）だ。これはコンピューターとの信頼できるインタラクションを生み出す大切な要素で、私たちが皮膚感覚を感じられるのは、ハプティクスがあるからだ。ハプティクスは、人が現実世界で物理的なオブジェクトと接触したときに体験する感覚を刺激する。ゲームでダメージを受けたときにコントローラーがごう音を轟かせたり、SMSを受信すると携帯電話がブルブル震えたりするのは、この技術によるものである。こうしたバイブレーションには、偏心回転質量（ERM）、リニア共振アクチュエータ（LRA）、そしてピエゾアクチュエータが使われている。

ただし、クロケット博士によると、ごう音もバイブレーションもいわゆる象徴的な触覚技術で、 単なる合図にすぎないという。エンジニアたちは、本物の感覚、すなわちバーチャルで可能な限り正確な触覚の再現「ナチュラルハプティクス」を目指して努力している。

ナチュラルハプティクスでは、本当に物を持っているように感じる。たとえば、自動車のシミュレーションでは、ハンドルを握ると手応えなどの力覚を感じる。こうした力覚フィードバックはナチュラルハプティクスに近い。しかし、物理的に物体に触っていないときに、触っているように感じさせるには、どうすればいいだろう。

クロケット博士のパートナーであるジェイク・ルーベン氏は、博士にナチュラルハプティクスの開発構想を持ちかけた。二人はこの問題に少し取り組んでから、あることに気づいた。それは、没入感を得るには手のリアルな感触が極めて重要であること、そしてそれを再現するのは極めて困難であるということだった。

人は手を使って大半の日常活動を行う。ならば、胸にリアルな感覚を再現することに力を入れる必要はないだろう。まずは手を解決してから、別のハプティクス体験に進む方が理にかなっている。

クロケット博士は触覚の依存度を明示するため、航空機シミュレータの例を挙げた。パイロットは、離陸時、飛行中、着陸時に多くのスイッチを切り替えなければならない。いくつものゲージとパネルをじっと見つめ、ほとんどスイッチは見ずに切り替える。それがどこにあるか、マッスルメモリーで覚えているのだ。マッスルメモリーの構築は没入型テクノロジーに多い使用事例だが、こうした場合にもナチュラルハプティクスが必要である。ただし、バーチャルスイッチを正しい位置に配置する必要があるのと同じように、スイッチを切り替える感触も本物そっくりにする必要がある。これを成功させるのは、控えめに言っても簡単ではない。

HaptXは、触覚フィードバックに空気圧を使うことにした。各グローブには、触覚器と呼ばれる非常に小さな風船を130個以上取り付けて、これらを空気で膨らませて肌に圧をかける。触覚器は、たとえばコクピットのスイッチを触ったときの感触をそっくりそのまま再現する。硬いものに触れているときの感触も必要だ。手が物体を通過するのを物理的に制止するために、グローブの甲に腱を配置した。このように適切な変位を肌に伝えることで、手を制御することができ、正しいパターンを感じることができる。この能力によって、実際には存在していない物体との相互作用が自然に感じられる。

クロケット博士も認めているように、まともなエンジニアなら、何百本もの微細なチューブを一本ずつ風船と比例制御弁につなぐようなシステムは考えなかっただろう。これは極めて難しい技術的課題で、解決にほぼ10年かかった。それでも最終的に、特殊な技術を一切使わない実用的なシステムを考え出した。

これは、先に述べたシステム思考の模範例だろう。だからHaptXのような企業は、システムを理解しハイレベルな思考力を持つエンジニアを求めている。それは、何が有効かを考えるだけではなく、何を組み合わせると有効に機能し、信頼性が高く要件を満たす包括的な設計になるかを考えるエンジニアである。

もしあなたが、没入型テクノロジーにはエンジニアのスキル以外のものが求められると感じているなら、それは恐らく正しい。コンピュータサイエンス、光学、そして人間の知覚への理解は確かに有益だ。しかし、もっと幅広いスキルセットも必要だと多くの専門家は考えている。

心理学、生理学、運動学など、多くの「○○学」の実践的な知識が、ユーザー固有の体験を設計するときに役に立つだろう。ただし、そこが難しさでもある。同じ現実は二つとないからだ。年齢、性別、体形、国籍、健康状態、経済的状態、能力など、体験を特徴づける要素は多種多様である。

その包括的な体験と同じくらい重要なことは、ユニバーサルデザインの原則を考慮して、これらの体験を実現するハードウェアとデバイスを開発することである。ユニバーサルデザインは、建築分野で初めて採用された概念だが、今ではほぼすべての分野に広がっている。年齢、サイズ、能力、認識経験に関係なく、あらゆる人に適合する設計のことをいう。

Microsoftの研究者たちは、複合現実とアクセシビリティのワークショップで発表した論文の中で、「アクセシビリティをシステムの反復設計プロセスの核心として検討することは、何らかの障害を持つ世界中の10億人超の障害者だけでなく、すべてのユーザーにとって有益である。誰でも場合によっては状況的な障害を体験するからだ」と断定している。

そして、改良の時期を迎えているデバイスの例として、ヘッドマウント型ディスプレイを挙げている。ディスプレイの多くはかなり重く、眼鏡をかけている人、補聴器を着けている人、人工内耳の人にはあまり対応していない。しかも、ヘッドセットを締め付けるだけでも、さまざまな操作とコツが必要だ。こうしたことが、多くの潜在的ユーザーの間の使用を制限している可能性がある。

エンジニアは、システム思考にユニバーサルデザインを取り入れるだけで、没入型テクノロジーをより包括的にできる。没入型テクノロジーが広く導入されるゲームチェンジャーになる前に、多くの技術が正念場を迎えている。成熟に近づいているが、まだ広範な導入には至っていない。ユーザーは期待どおりの体験を今も待ち続けている。今こそ、このテクノロジーにアクセシビリティを組み込む絶好のタイミングである。