本物の没入体験を実現するための課題

Jon Gabay（マウザー・エレクトロニクス）

没入型現実のテクノロジーは、長い道のりを経て広く受け入れられるようになってきました。例えば、小型で省電力、高解像度のディスプレイにおける進歩は、正確かつシームレスで、目の動きの範囲を超えた立体的・連続的な映像を可能にしています。より高速で高精度な3軸加速度センサにより、高速プロセッサがほぼリアルタイムで画像を表示できます。これは目の閃光融合時間を優に超え、没入体験のユーザーが頭を動かす際、リアルなパノラマ画面を本物に見せるのに十分な速さです。

問題はいくつか乗り越えましたが、このテクノロジーが、産業、ビジネス、防衛、警察などの分野で活用されるだけでなく、ゲーマー市場に本格的に進出できるほど高性能で安価になるまでには、まだ課題が残っています。

クロスリアリティ（XR）、空間コンピューティング、ホログラム、あるいはボリュームデータについて話すとき、大抵の人は、その体験に期待します。VRヘッドセットを初めて装着すると、大抵の人は夢中になりますが、がっかりする人も多いことは事実です。グラフィックス、音声、ヘッドトラッキングが優れていても、人間には様々な感覚があり、没入環境ではその一部しか使われません。現状を見れば、まだ「アバター」レベルの没入感すら完全には実現していません。

それでも、人々は没入型技術への希望を捨てず、エンジニアがそれを実現してくれると期待しています。ほとんどすべての業界が没入型技術のもたらす効果について楽観的であり、その市場もエンジニアの想像力と同様に広がりを見せています。もちろん期待に応えるのは簡単ではありませんが、課題を解決するのがエンジニアの仕事です。未来の没入型体験の開発において、エンジニアはどのような課題に直面しているのか見てみましょう。

本当に没入できる体験を作るには、センサ、マシンビジョン、3Dスキャン、電源管理など、数百個ものコンポーネントをユーザーデバイスに搭載する必要があります。たとえば、ボリュメトリックビデオの場合は、アクションの周囲に数百個のセンサとカメラを配置します。では、テクノロジー自体に問題があるのでしょうか。 

テクノロジーの課題は未だに問題となっていて、多くの優秀なエンジニアがこれらに取り組んでいます。鍵となるのは、本物の体験を生み出すことです。たとえば、実際の映像は、静止画や動きのあるレンダリングオブジェクトをオーバーレイして使用することができます。ビデオキャプチャのテクノロジーがその課題に立ち向かい、ビデオディスプレイのテクノロジーもその解決に向けて改善されてきました。

VRゲームやデジタルツインのウォークスルーなら、最高レベルの解像度はいらないかもしれません。この場合、閉合の法則（ゲシュタルトの法則）のおかげで、私たちの目はオブジェクトに小さな欠落があっても、スムーズなひとまとまりとして知覚します。ですから、解像度が低くても大丈夫かもしれません。しかし、医療現場において、複雑な脳外科手術を行う場合は、できるだけリアルなバーチャル頭蓋を使って手術した方がいいのは当然です。とはいえ、高解像度が不要な場合でも、解像度が高い方が市場シェアの獲得には役立つかもしれません。

多くの場合、解像度は遅延ほど重要ではありません。「Motion-to-photon」の遅延時間は、エンジニアたちが打ち破ろうとしている壁の一つです。ユーザーの空間体験は、現実と区別がつかないのが理想的です。そのためには、遅延を15ms以下にする必要があると専門家は言っています。それ以上になると、ユーザーはフラストレーションを感じるだけでなく、吐き気を催すことや、使用事例によっては潜在的な危険が生じることもあるそうです。遅延という難題を解決できなければ、ハードウェアを開発しても廃棄処分になってしまうでしょう。

既製品のセンサシステムはまだその15msの壁を越えていませんが、徐々に良くなってきています。Oculusは、部品メーカーによる開発を待たずに、サンプリングレート最大1000hz対応、遅延わずか2msのセンサを自社開発しました。こうしたことが可能であることが証明されたのですから、この事例が大きな潮流になることを期待したいものです。

処理能力と伝送速度を合わせることは非常に重要です。主要な処理エンジンを含む内蔵型ユニットでは、スペースが極めて重要になります。高性能の部品は、より小さなスペースに収めなければならないものが増えています。例えば、VRヘッドセットをケーブルでパソコンに接続すると、自由に動いてゲーミングできるという目的が果たせません。

ただし、すべてのアプリケーションでこうした問題があるわけではありません。VR、AR、XRをトレーニングや教育に使用する場合は、例えば机の中にあるより高性能なコンピュータに接続することができます。その場合、使用する生徒は動かないため、ケーブルは邪魔にはなりません。

5GB/秒の広い帯域幅を持つUSB3.0は、プラグアンドプレイの優れた多目的インターフェイスです。初期のUSB2.0と同様、今後のバージョンでコネクタのサイズがより小さくなり、接続のわずらわしさが減る可能性があります。USBは非常に多くのプロセッサに標準として組み込まれているため、 この場合、USBの使用によりコスト削減や設計時間の短縮が可能となります。

MIPI (Mobile Industry Processor Interface) CSI-2規格は、ヘッドマウント型VRデバイスに使用される最も一般的なインターフェイスの一つです。また、MIPIは6GB/sの高帯域幅を持ち、USB 3.0よりも高速です。さらに、CSI-2のマルチコアプロセッサは、CPUのリソースをほとんど使用しません。

有線インターフェイスのもう一つの利点は、電力制御を分散できることです。画面の解像度とリフレッシュレートが上がれば上がるほど、ディスプレイの消費電力は増えます。Oculusは開発者向けサイトで、同社のデバイスのガバナープロセスが「内部温度センサを監視し、温度が一定レベルを超えると補正動作を行い、誤作動や表面の過熱状態を防ぐ」と説明しています。この補正動作はクロックレートを下げることで構成されます。例えば、ヘッドセットで発熱する電圧調整をなくすことで、全体の温度を下げることができます。

視覚的な鮮明さや連続性に注目が集まっていますが、オーディオ面も没入型体験に多大な影響を与えます。サラウンドサウンドから没入感を得るために、ビジュアルと同様にオーディオもヘッドトラッキングと位置検出に依存しています。

スピーカーや音源となるエミッタは比較的耳の近くにあるため、高いレベルのオーディオパワーは必要ないものの、小型化、低歪み、低電圧、効率性が求められます。没入型体験に最適なアンプの一例として、Maxim MAX98360A/B/C/D デジタルD級アンプが挙げられます。3.69mm角という非常に小型のWLPに収められたこのデバイスは、5V時、4Ω負荷にて最大3.2Wの出力を得られます。

静止電流は2.2maと低いため、未使用時の電池寿命が長く、またTHDは1KHzで0.009%と低く、92%の効率を実現しています。D級スイッチング技術を用いたアンプで、エッジレート制御テクノロジーを採用しているため外部フィルタが不要となり、さらにクリック/ポップ抑制回路も備えています。

また、8KHzから96KHzまでのサンプルレートに対応し、データワードは16ビット、24ビット、32ビットの解像度でダイナミックレンジを広げることができます。1.2Vおよび1.8Vロジックに接続できるだけでなく、最大5.5Vのロジック入力電圧を許容することができ、論理制御のためのレベルシフトが不要です。

シンプルなI2Sのインターフェイスによりピン数を抑え（9ピン）、デジタル制御回路へのインターフェイスを簡素化します（図3）。MAX98360AEVSYS#FCQFNのようなオーディオ開発ツールは、すぐに使えるテストプラットフォームを提供し、迅速かつ簡単に評価を行うことができます。