Oculus社のチーフサイエンティストであるマイケル・エイブラッシュ氏は、Global Grand Challengesサミットの壇上でVRに対する思い、将来への期待について講演を行いました。このGlobal Grand Challengesサミットは全米技術アカデミーや王立工学アカデミー、中国工程院がスポンサーとなっているイベントです。
その模様が、Oculus社の公式ブログで「VR’s Grand Challenge」として紹介されていましたので、概要をまとめて紹介します。
バーチャルリアリティ研究の始まりは50年弱前にさかのぼる
エイブラッシュ氏はまず、歴史を紐解くところから話をはじめました。
バーチャルリアリティ（VR）の研究は、1968年にアイバン・サザランド氏のヘッドマウントディスプレイ（HMD）システム「Sword of Damocles」までさかのぼることができます。それから50年弱が過ぎました。私たちはいまだ、VRが究極的にどのような形になるのか、VRのもつ素晴らしい潜在力が何であるかを知るための長い道のりの始まりにいるに過ぎません。
ここでエイブラッシュ氏は、VRそのものの話に移る前に、まず人が”現実として経験”することについて掘り下げました。氏によると、私たちが経験する現実は、深い潜在意識に組み込まれた多くの推測や、生きている中で学んだことといった非常にまばらかつ、大量のデータに基づいて私たちの心の中に作り上げられたものだとしています。
すべての現実はバーチャルである
“すべての現実はバーチャルである”。これはエイブラッシュ氏が強く強調したことです。人々は現実世界から受け取る不完全なデータに基づいて心の中で構築したものを現実と呼んでいます。現実の認識が実際には最良の推測にすぎない例をいくつか見てみましょう。
上図では、床に黒いタイルと白いタイルがあるように見えます。机の周囲にあるタイルだけ残して他を隠してみましょう。
描かれている3つのタイルはすべて同じ色のグレーです。
しかし、真ん中のタイルは周囲に机の影があり、その影によってグレーになっていると人は推測するため、元の色は白だと思い込んでしまいます。人間の視覚システムは、自動的にこのような推論を行って、実際に描かれているグレーではなく、白と黒のタイルがあるという認識になります。
視覚システムが推論する別の例として、画面上に2つの長方形のテーブルを並べました。これはどちらのテーブルの方が長いでしょうか？
正解は全く同じサイズです。大きさもまた遠近感といった場のコンテクストによる推論に過ぎないのです。
もう一つの例として、紙でできた竜の置物を見てみましょう。
竜の顔は出っ張っていると推測すると思いますが、これも正しくはありません。カメラをもっと動かしてみましょう。
先ほども言及しましたが、人間の知覚システムは非常に合理的に推論を行います。この場合は、オブジェクト、特に顔の部分は出っ張っていると想像します。
さて、顔は出っ張っているという考えは捨てて再度見てください。
本当は顔が凹んでいることを知っているにもかかわらず、竜の頭が出っ張っていると見えてしまう人もいると思います。それほどまでに知覚システムによる推論は意識に深く根付いています。
最後に、エイブラッシュ氏は、この話の最後に、体験した現実が最良の推測できあるという最も説得力のある例として”McGurk効果”を紹介しました。
この動画では女性は「バー、バー、バー」と発音しているのがはっきりと分かります。次に、別の動画を見てみましょう。
ここで、彼女は「ファー、ファー、ファー」と発音しているように聞こえると思います。興味深いのは、映像の彼女の口は「ファー」の口を映したビデオですが、音声は先ほどの「バー」の音声と全く同じものを使用しています。視覚の情報によって聞こえ方まで変化してしまうのです。
次の動画では、左側の口は「ファー」、右側の口は「バー」の発音をする際の口を映しており、音声は今までと同じ「バー」を使っています。動画を再生して左側の口、右側の口と順番に注目してみるとどのような聞こえ方の変化が起こるか体験してみてください。
エイブラッシュ氏はここでの結論として、経験している現実は脳の推論の結果ということを強調しています。
これはVRを考える上で重要なポイントになります。人々が経験している現実は、入力ソースに関係なく、知覚システムによる入力に基づき、脳で推論をしているのです。従って、VRが適切に知覚システムへ入力できればあらゆる経験を得ることができ、その経験は本物と変わらないものになるでしょう。
VRは人間指向コンピューティングの第2の大きな飛躍となる
続いてエイブラッシュ氏は、具体的なVRの将来的な活用について話しました。
エイブラッシュ氏自身が望み、おそらく多くの人とも意見が合うVRの活用例として、バーチャルディスプレイ、ホログラム、およびワークスペースを即座に切り替える機能を備えたバーチャルワークスペースの例を取り上げました。
バーチャル空間では、他の人と話や仕事ができ、自分の仕事場にテレポートすることができます。そうすれば、仕事はより生産的で楽しいものになります。
エイブラッシュ氏は、実際これらはパーソナルコンピュータ（PC）の歴史と相似していると指摘しています。40年以上前、JCR Licklider氏のビジョンとXeron PARCのパーソナルコンピューター、特にコンピューターサイエンスラボにいたBob Taylor氏が今日使用しているコンピューティングデバイスの基礎を作りました。人間指向コンピューティングにおける最初の飛躍です。
エイブラッシュ氏は、VRがPCに続く第2の大きな飛躍であると確信しており、平面ディスプレイでデジタル世界とつながるのではなく、望めばいつでもデジタル空間に住むことができるようになるとしています。
大きな飛躍のために人の感覚器官への入力が今より進化するする必要がある
VRが世界を変える手段になるというエイブラッシュ氏ですが、そこまで到達するには非常に多くの技術的な進歩が必要になります。VRが仕事、遊び、人々の繋がりのカギとなる道へ歩み続けるために、VRがどのような役割を果たせるのかを見せていきます。
VRは身体の知覚システムへ入力する方法として、視覚、聴覚、触覚、嗅覚、味覚、前庭感覚（回転や傾きを感じる器管）といった人の感覚器官に働きかけますが。そのうち視覚、聴覚、触覚の3つは、すでにさまざまなところで使われ始めています。
視覚は、視野の広さを人が通常見ている範囲全体に拡大し、網膜が認識できないほどの高解像度を持つこと。さらにダイナミックレンジを現実と同等にして、適切な焦点深度を実現する必要があります。
音声は、適切な空間配置（音がどこから来るのか）、完全な空間伝播（バーチャル空間でどのように音が動くか）、合成（物理的な動きや干渉をモデリングして音を生成する）が必要になります。
触覚について、エイブラッシュ氏は特に難しいとしつつ、世界とのインタラクションを行う重要な手段だと述べました。今できることは、振動や触ったときの反力を再現するぐらいですが、いつの日か手袋や外骨格型デバイスによってよりリッチな触覚を与えることができるようになるかもしれません。これらについてはいまだ研究段階だと言います。
バーチャル情報を知覚システムに取り込むのに加えて、VRには、現実の世界を認識し、再構成して理解する技術も必要です。それによって、人は机やキーボード、家具などの現実世界のオブジェクトをバーチャル世界に持ち込み、再合成して安全に移動することができます。実際の人間をバーチャル世界へ連れて行くことは、真のテレプレゼンス（あたかも自分が別の場（バーチャル世界）にいると錯覚する程の臨場感）を実現し、ゲームや仕事を楽しみ、世界中の人々と交流することができます。
エイブラッシュ氏は、これがVRをより世間へ広めていくために最も重要な要素であると信じています。なぜなら、どんな人でも他の人たちの動きを気にしているものだからです。
残念ながら人々は他人のニュアンスに非常に敏感に感じます。従ってバーチャル人間を可能にすることは、VRの最も難しい部分の一つです。
VRはこれまでに研究、開発されたありとあらゆる知覚技術をすべて包含するものです。VRが普及する鍵とは、開発された技術そのものではなく、その技術がどのように知覚システムとインタラクションして経験を作り出せるかにかかっています。
まとめると、VRに関連する技術が進歩しなければいけない領域は、人間の知覚と感覚などの領域をすべてカバーする広範な領域になります。それは、コンピュテーショナルオプティクスや材料科学、センサー技術など多岐にわたり世界レベルの研究が必要です。
一例として、エイブラッシュ氏はバーチャルワークスペースの例を挙げました。VRの仕事場が現実の世界と同じくらい生産的にするには手を機敏なマニピュレータとして使うことが必ず求められます。また、現在のVRヘッドセットに使われているレンズは、VRの中で2メートル程先に焦点を合わせるように設計されています。従って、1メートル以内の手の届く範囲の物はぼやけて見えてしまい、長時間見ると疲れてしまいます。
こういった点からも、焦点深度の問題を解決するまで、VRで手を本当に有効につかうことはできません。同様に、手の届く範囲内で発生する音が適切に聞こえるように人は期待していていますが、実際は期待するとおりには聞こえておらず、まだ解決していません。バーチャルモニターも実際のものと同じくらい鮮明にするために十分な解像度が必要です。
エイブラッシュ氏は、VRにおける現在の問題を解決する研究から3つの話題をピックアップして紹介しています。
VRの問題を解決する技術その１：任意の場所で焦点が合うVRディスプレイ
現在市販されているVRヘッドセットの表示部は、本質的には単なるスクリーンと虫眼鏡です。レンズを通してスクリーンを見ると、単一の焦点距離で拡大された画像が表示されます。ここでの問題は固定された焦点を視点のどこに置くべきかというものです。
上図の右側はヘッドセットの映像ですが、窓の外に無限遠で焦点が合っています。左側の現実の見え方と似ています。
上図は先ほどと違い、左の現実における近くの物の見え方と、右のVRで近くにある物を見るシチュエーションを比べると、近くに映っていてピントが合っているべき植物がぼけています。従って、ヘッドセットに焦点を変える機能を付けることが必要です。
Oculusの研究チームであるOculus ResearchのNathan Matsuda氏、Alex Fix氏、Doug Lanman氏らは複雑なアダプティブ光学系を用いて、シーンの中のすべてのオブジェクトに焦点を合わせることができるようなシステムを考えました。以下はそのシミュレーション結果です。
最初に後ろの背景に焦点が合った後、手前に焦点が合っている様子です。この方式でヘッドセットのプロトタイプを作成して、撮影してみたのが以下の例です。
上図は実際にプロトタイプのディスプレイをカメラで撮影した映像です。現在の空間光変調器ではコントラストが低下してしまいますが、焦点を変えることが可能です。
これは左側が現在の固定焦点ディスプレイ、右側が適応焦点ディスプレイですが、右側の表示の方がくっきりと表示されており、このシステムの将来性を感じることができます。
VRの問題を解決する技術その２：瞳のトラッキング
２点目としてエイブラッシュ氏はアイトラッキングの話題に移りました。アイトラッキングはVR技術のカギとなる技術であり、特にコンピュテーショナルオプティクス分野の基盤技術となります。アイトラッキングの最新技術では、瞳孔の動きと、角膜の光加減に基づいてアイトラッキングを行っています。
上図では瞳孔のトラッキングが上手くいっていますが、瞳孔は下図のように大きく変わることがあります。
また、瞳孔はサイズが変わったり、形を変えます。
角膜のトラッキングも同時に行うとよりよいトラッキングができますが、まぶたが問題を引き起こす可能性があります。カメラや光源をヘッドセットに内蔵しなければならない課題もありますし、顔の彫りが深い人、そうでない人といった人ごとの違いも吸収しなければなりません。
VRの問題を解決する技術その３：リアルな人間を再現するためのトラッキング
３つ目は、バーチャル空間で重要となるアバターの話です。エイブラッシュ氏はこれがVRの普及するために一番重要であると感じています。
アバターがリアルな人間のようになるためには少なくとも目、手、顔、骨格の4つのトラッキング（認識）技術を合わせる必要があります。そのうちの一つである目のトラッキングについてはもう話しましたので、他の3つのトラッキング技術を見てみます。
以下の動画では、完璧な手のトラッキングを実現しています。
手には約25自由度という高い自由度かつ、自分自身で手の形状を隠してしまう自己遮蔽が生じます。残念ながら、現在の技術でこのレベルのトラッキング品質を得るためには、再帰性反射素材（受けた光を同じ方向へ反射する素材）で覆われたグローブと多くのカメラが必要になります。
顔は最も表現力が豊かな部分であり、繊細な柔軟性を持ち、おそらく人間のトラッキングで最大の難易度です。
この動画は、リアルタイムでヘッドセットを被っている人の顔をトラッキングしていますが、まだまだこれからです。
近年、リアルタイムの人体骨格のトラッキングが可能になりましたが、本当に安定してトラッキングするためにはまだまだ多くの技術が必要です。
バーチャル人間の基礎となるトラッキング技術は、多くの興味深い研究課題を提供していますが、本当に興味深いのは、「ユニークな人間として説得力のあるアバターを作るにはどうすればよいのか？」です。
それに対する答えは、知覚科学と、社会的相互作用の心理学の両方が必要で、まずは多くのデータを集めることが必要です。Yaser Sheikh氏はカーネギーメロン大学で「Panoption」と言う名前のプロジェクトで行いました。
このアバターは非常に良くできていますが、1秒の動画に必要な処理時間は2時間なのでリアルタイムからはほど遠いです。
VRが切り開くニューフロンティア
エイブラッシュ氏はこれらはVRが今日直面している課題のほんの一部であると述べています。それぞれを課題を完全に解決するには多くの時間がかかるでしょう。もちろん、触覚インタラクションや、匂い、そしていつかは前庭感覚や味覚など、他にも多くの課題があります。要するに、VRは探検者を待っているとても広大な空間であり、研究にもっと注目を集める必要があると指摘しています。
エイブラッシュ氏は最後のまとめとして今後の展望について以下のように述べています。
「VRは大きなチャレンジです。確かにVRは非常に難しく、何重もの技術の研究開発が必要ですが、それらは話の半分に過ぎません。VRは70年以上にわたるコンピューティング革命と数百年にわたる情報技術の頂点です。最終的には、人間が改善した生物学的処理の重要な部分を用いることで、デジタル世界とやりとりするためのインターフェースを構築することができるでしょう。」
「VRは人間の経験する範囲を大幅に拡大する可能性を秘めています。成功すれば、私たちの時代の最も重要な技術の一つになるでしょう。」
（参考）
VR’s Grand Challenge: Michael Abrash on the Future of Human Interaction – （英語）
https://www.oculus.com/blog/vrs-grand-challenge-michael-abrash-on-the-future-of-human-interaction/
