現地時間10月5日から3日間にわたって、アメリカでにてOculusの3回目の開発者会議「Oculus Connect 3」が開催されました。特に2日目の基調講演では多くの新発表がなされました。その基調講演のラストを飾ったのは、昨年に引き続きOculusのチーフ・サイエンティストであるマイケル・エイブラッシュです。
本記事ではエイブラッシュ氏が基調講演で語った5年後のVRの未来、そしてそこに至るまでの課題などをまとめて紹介します。
なお、基調講演のTwitch配信は現在もこちらから視聴することが可能です。マイケル・エイブラッシュの登壇は動画1時間28分からになります。また、基調講演内でなされた他の発表に関してはまとめ記事を参照ください（こちら）。
マイケル・エイブラッシュ
マイクロソフトでWindowsNTの開発に携わった後、イド・ソフトウェア社でFPSというジャンルを決定的にしたゲーム『Quake』開発に参加。「伝説のプログラマー」の一人ともされる彼はその後、Valveを経て、現在はOculusのチーフ・サイエンティストを務める。
「本当に面白いのはこれからだ」
コンシューマー向けのハイエンドなVRHMDが市場に登場し、VR元年とも称される2016年。
エイブラッシュ氏は「現在のVR技術は、5年前には全く予想もしなかった状況だ」と言います。そして続けて「だがこれは始まりに過ぎない。本当に面白いのはこれからだ」と力強く述べ、講演を始めました。
彼は自身の人生を、時系列順に振り返り始めます。
マイロソフトでWindows NTのグラフィクスチームに所属していた1993年。現Oculus CTOである友人のジョン・カーマック氏がイド・ソフトウェアでFPSというジャンルの源流となるゲーム『DOOM』を開発していた頃。カーマック氏はエイブラッシュ氏に「一緒にイド・ソフトウェア働かないか」と誘いをかけてきます。Windows NTの開発真っ最中だったエイブラッシュ氏はこの時、カーマック氏の申し出を断ることになりました。
そしてエイブラッシュ氏が『スノウ・クラッシュ』に出会ったのもこの頃。
『スノウ・クラッシュ』はOculus創設者のパルマー・ラッキーも愛読しているSF小説。Oculusの原動力ともいえる作品です。（Mogura VRでの紹介記事）
娘がたまたま見つけてきたこの本を読んで、エイブラッシュ氏は「自分が生きているうちに、ひょっとしたらこんなメタヴァースのようなものが実現し得るのではないか」と思ったのだそう。ひとつのビジョンが彼の心に息づきました。
そして1995年、ジョン・カーマックは再びマイケル・エイブラッシュのもとを訪れます。エイブラッシュ氏はこの時も仕事の誘いを断りました。しかしカーマック氏はそれでも、まるまる2時間、自身が思い描く未来について熱く語ったそうです。
これが転換点でした。カーマック氏の語るビジョンは『スノウ・クラッシュ』の世界に通じるものがありました。エイブラッシュ氏はこの時、「人生で初めて、素晴らしいコードを書くこと以外の目的を見つけた」と語りました。
そして彼は、マイクロソフトを去ります。
自身のビジョンを求めて。そして世界をより良く変える可能性のある技術を求めて。
エイブラッシュ氏はその後ゲーム業界に戻り、現在HTC Viveの開発も行っているValveでの勤務も経て、2014年よりOculusのメンバーに加わりました。
5年後のVR
ここからエイブラッシュ氏は、自身の考えるVRの未来について話を始めます。VRに関わる技術として
１．光学ディスプレイ
２．グラフィックス
３．アイトラッキング（視線追跡）
４．オーディオ
５．インタラクション
６．人間工学（ergonomics）
７．コンピュータービジョン
を挙げ、それぞれについて説明をしていきます。順番に見ていきましょう。
なお、近年のモバイルVRの発展にも目覚ましいものはありますが、以下は全てPCで駆動するハイエンドなVRシステムを前提に話をしています。
１．光学ディスプレイ
エイブラッシュ氏によれば、現在のVR技術レベルは以下の通りです。
ディスプレイパネルの解像度：1200×1080（片目あたり）
ピクセル密度：角度1度あたり15ピクセル
視野角：90度程度（Oculus RiftやHTC Viveは110度）
焦点の深度：2ｍに固定
一方で、これと比較して我々人間の目の捉える視覚情報は次のようなものになります。
ピクセル密度：角度1度あたり120ピクセル
視野角：220から320度程度
焦点の深度：自由に調節可能
そして、5年後にVR技術が到達しているレベルについて、エイブラッシュ氏は次のような予想を示しました。
ディスプレイパネルの解像度：4K×4K（片目あたり）
ピクセル密度：角度1度あたり30ピクセル
視野角：140度程度（Oculus RiftやHTC Viveは110度）
焦点の深度：自由に調節可能
ここで注意したいのは、ピクセル密度の定義。角度1度あたりのピクセル数、という定義から分かる通り、解像度と視野角というのはトレードオフの関係にあります。同じ解像度の場合、視野角が広くなればピクセル密度は小さく、同様に視野角が狭くなればピクセル密度は大きくなります。
そのバランスを考慮しつつ、エイブラッシュ氏は上記のような数値を予想しました。視野角140度は「ドライバー（運転）テストに合格するのに十分である」とのこと。
しかし、高い解像度を保ちながら視野角を拡げるには、現行のOculus Riftに使用しているディスプレイでは実現が難しく、ディスプレイ技術のブレイクスルーが必要だと言います。
人間の眼では、見ているものと目との距離によって、眼球中の水晶体などが焦点を調節しています。しかし現在のVRHMDでは、焦点は2ｍ程度先に常に固定されている状態になってしまっている、とエイブラッシュ氏。
あるものを見つめているとき、それ以外のものはぼんやりと目に映るのが自然ですが、VRでは全てがくっきりと見えてしまうのです。もし焦点に関する問題が解決されれば、VRはより快適になり、長時間の使用にも耐えられるようになるとのこと。
そのためのディスプレイとして彼はホログラフィックディスプレイ、ライトフィールドディスプレイ、マルチフォーカルディスプレイ、バリフォーカルディスプレイなどの可能性について言及します。
そして「どれもまだ、ヘッドマウントディスプレイに採用するには適していない。しかし、5年以内にはいずれかの方法で焦点深度の問題は解決するだろう」と述べました。
２．グラフィックス
続いて話題はグラフィックスへ。
エイブラッシュ氏はまず、人間の目が持つ「中心窩」について言及しました。中心窩は網膜上にある小さなくぼみをさし、人間の眼は中心窩のある領域で視力が最大となるのです。逆に言えば、中心窩より外側、いわゆる「周辺視野」に行くに従い、視力は低下していきます。
人間の眼は視野すべてを100％の視力で見ているわけではありません。「見ているところ」以外は低解像度で描画をしても構わないのです。
この考えに基づいている技術が「フォービエイテッド・レンダリング（Foveated Rendering）」。これは、現在見ている部分だけを高解像度で、そして周辺視野を低解像度でレンダリングすることでグラフィック処理を軽くし、その分高い解像度を実現する技術です。
「ハイクオリティなグラフィックを実現するにはフォービエイテッド・レンダリングが重要。この技術は5年以内にVR技術の核となるだろう」とエイブラッシュ氏は言います。
３．アイトラッキング（視線追跡）
フォービエイテッド・レンダリングを実現するために必要なのが、視線追跡。その人が今、画面のどこに注目しているか判別する技術です。
アイトラッキング技術の研究は日夜進んでいますが、人間の瞳孔は時と場合によって大きさや形を変え、左右正対称でない時もあり、フォービエイテッド・レンダリングを可能にするほど高精度のトラッキングは難しいのが現状。
エイブラッシュ氏は、「外部センサによる現在のアイトラッキングでは、視線のおおよその位置しか測定できない。理想的には視線を直接測定できるような全く新しいやり方が求められる。完全なアイトラッキングにはまだまだ研究を重ねる必要があるが、いずれにせよ、アイトラッキング技術は将来のVRにおいて中心的な技術になるだろう」と述べています。
※編集追記：なお、日本ではFOVEが視線追跡機能付きのヘッドマウントディプレイ「FOVE 0」を、そしてスウェーデンではStarbreeze Studiosが、視線追跡技術を開発するTobiiと協力してVRHMD「Star VR」を開発中です。
４．オーディオ
オーディオの項で彼は、HRTF（Head Related Transfer Function：頭部伝達関数）について話しました。音波は反射・回折・干渉という物理的な性質を持っていますが、これらが耳や頭などの人間の顔周辺でどのように振る舞うかを計算することで、3Dサラウンド音声を実現しています。この技術は今後もますます進展していくだろう、とエイブラッシュ氏。
５．インタラクション
日本時間2016年10月11日から予約開始、12月6日に発売されるハンドコントローラーOculus Touch。エイブラッシュ氏は「Touchはコンピューターにおけるマウスのように、しばらくの間は使用され続けるだろう」と予想しています。
ただし、触覚再現の技術はまだまだ実用的でなく、現実に比べてキーボード入力などは不便と言わざるを得ません。彼の予想では、向こう5年では簡単なジェスチャー、及びそれによる様々な操作はTouchで実現されるが、それよりハイクオリティなもの（触覚など）は新たなデバイスの登場が待たれるとのこと。
６．人間工学（ergonomics）
エイブラッシュ氏は向こう5年で、ハイエンドレベルでのワイヤレス型HMDの登場も予想しています。ただし、ワイヤレス型のHMDで4K×4K画質というPC駆動型レベルのクオリティを出すなら、フォービエイテッド・レンダリングが不可欠になる、とも付け加えています。
実際、基調講演で発表があった通り、Oculusは既にPCを必要としない、かつモバイルVRよりクオリティの高い一体型のVRHMD「Santa Cruz」の開発を進めています。（体験レポート記事）
７．コンピュータービジョン
最後にエイブラッシュ氏は、「Augmented VR」という概念を提唱しました。
これは視界の全てのピクセルを自由に操作し、バーチャルなものをリアルへ、逆にリアルなものをバーチャルへ、自由に行き来させることができるという考え。例えば普通の部屋からソファだけを抜き出して、傍にはバーチャルな恐竜を出現させ、周りは森にしてしまうといったようなものです。
彼はシースルー型ディスプレイ（視界の向こうが透けて見えるもの）で実現されるMR(Mixed Reality)とは全く異なる、と主張します。Augmented VRでは単にものが現れたり消えたりするだけでなく、色や表面の感じなども含め、目に見えるすべてを自由自在に操れるようになります。
またAugmented VRの空間を人と共有することもできなければいけません。
以上7つの技術分野の展望を紹介した後、エイブラッシュ氏は、では5年後にどのような体験ができるのか？という話に移ります。
各種の技術の発展が絡み合うことでできること、その一例がバーチャル・ワークスペースという作業空間です。
バーチャルスクリーンがあり、自由に操作ができる。人型のアバターとして互いに会い、同じ部屋で共同作業をすることができる。3Dサラウンド音声実装の部屋。焦点深度の問題も解決され、好きなものにピントを合わせられる……などなど。
ハイレベルなグラフィック、アイトラッキング機能の付いたワイヤレス型のHMD。
これを読んでいるあなたも、革命を起こす一員
マイケル・エイブラッシュは講演の最後に、現Oculusのチーフ・アーキテクトを務めるアトマン・ビンストンの言葉を引用しました。
「技術のイノベーションというのは、賢明な人がしかるべき時に、しかるべき問題に対して一生懸命取り組むことで起きる」
2011年に、アトマン・ビンストンがマイケル・エイブラッシュに対して言った言葉。図らずもそれから5年後の2016年現在。VRは2011年には想像もつかなかった勢いで、技術進歩を遂げました。
「皆さんのたゆまぬ努力によって、VRはここから5年後、さらに進化を遂げていることでしょう。周りを見てください。未来のVRを創りあげる仲間、それは私たちです」
彼はこのような言葉で講演を閉じました。
