2018年11月、Facebookが米国ワシントンに巨大な研究施設を建設予定であることが報じられました。この施設は主に、Oculusの研究開発（R&D）部門である「Facebook Reality Labs」（旧名Oculus Research）のチームが使うことになります。
VR/ARに関する長期的な研究開発にも積極的なFacebook / Oculus。2019年もVR/AR分野への投資にますます力を入れる見込みです。彼らはVR/ARにどのような未来を見据えているのでしょうか。
年に一度のOculusの開発者会議「Oculus Connect」。その基調講演では、毎年Facebook Reality Labsのチーフサイエンティストであるマイケル・エイブラッシュ氏が講演を行います。そこではFacebook Reality Labsの研究成果が公開されたり、VR/ARの未来予想が語られたりしています。
2018年9月26・27日に行われたOculus Connect 5では、2年前の未来予想がどの程度実現しているのか、Oculusの研究開発部門が今何に取り組んでいるのかが語られました。本記事では、OC5でのマイケル・エイブラッシュの講演内容を詳しく解説していきます。
Oculus Connect 5の初日の基調講演。マイケル・エイブラッシュによる講演は後半、1時間14分頃から。
我々は今まさに未来を作り出している
（Facebook Reality Labs（旧名：Oculus Reseach）チーフ・サイエンティストのマイケル・エイブラッシュ。マイクロソフトでWindows NTのグラフィクス開発に携わったのち、現Oculus CTOのジョン・カーマックに誘われて id Softwareへ。その後Valveでの勤務などを経て2014年から現職。OculusがFacebookに買収された旨のアナウンスをした3日後にOculusチームに加わった。）
まずエイブラッシュ氏は、Oculus Connectが5周年を迎えるにあたって、これまでのOculus Connectを振り返るところからはじめました。氏はこれまでのOculus Connectの講演の中で、数々の「開発者を勇気付ける言葉」を残しています。
OculusがFacebookに買収された2014年、記念すべき第１回目であるOculus Connectでは「VRは世界を変える」と力強く宣言しました。
翌2015年OC2では「我々はVRのパイオニアだ。我々はVRの歴史を担っている。今日という日は、未来から見れば『懐かしい古き良き日』になる」と語り、VR分野を支えている開発者・研究者を励ましました。（OC2のまとめ記事・エイブラッシュの講演記事）
一体型VRヘッドセットOculus Questの最初のプロトタイプが現れたOC3（2016年）では、5年後のVR技術の姿を予想した後、「皆さんのたゆまぬ努力によって、VRはここから5年後、さらに進化を遂げていることでしょう。周りを見てください。未来のVRを創りあげる仲間、それは私たちです」と講演を締めました。（OC3のまとめ記事・エイブラッシュの講演記事）
なお、Oculus Goのリリースが高らかに宣言された昨年のOC4（2017年）では、エイブラッシュ氏の講演はジャーナリストのSteven Levy氏との対談形式で資料を使った技術的な話はありませんでした。（OC4のまとめ記事）
OculusのCTOであるジョン・カーマックとの昔の思い出話に触れた後、氏は「我々は今まさに未来を作り出している」と言って講演を始めます。ここで引き合いに出されたのが故スティーブ・ジョブズです。ジョブズはコンピュータが人類の生活に浸透することについて、1980年代に次のような発言をしていました。
「それが何年後に来るかは定かではない。誰がこの分野で勝者・敗者となるかもまだ分からない。しかし、コンピュータが普及する未来が来ることは避けようがない。これは明らかだ
エイブラッシュ氏はこのジョブズの発言になぞらえて、VR/ARについてこう言いました。
「理想的なVR/AR技術は今現在存在していない。しかし、やがて実現する」
2年前の予想：光学系とディスプレイ
ここからエイブラッシュ氏は、2016年に予想したVR/AR技術の進化が、現在どの程度実現しているのか７分野にわたって「答え合わせ」を始めました。
解像度、視野角、可変焦点
「5年以内に片目あたり4Kのパネル、140度の視野角が実現し、可変焦点機能が搭載される」
（OC3 基調講演 2016年）
可変焦点というのは、HMDにおいて体験者が見ている部分に焦点の合った見え方を実現する技術です。現行のVRHMDのほとんどは、焦点距離が一定の映像が提示されるため、手前の物を見ても奥の物を見ても、どちらも同じようにはっきり見えてしまいます。
しかし、人間の眼は、物を見るときに眼球の水晶体の厚みを変えることでピントを合わせています。近くの物を見ているときは奥の物はボケて見えるのです。
2018年、Oculusの研究開発部門は「Half Dome」という次世代ヘッドセットの開発に取り組んでいます。このHalf Domeでは、視野角140度・可変焦点機能を搭載という2点に関してはすでに実現されています。予想より3年早くこれら要素をクリア出来ており、視覚に関する性能の進化は比較的順調であることが伺えます。
Oculus以外に目を向けても、片目4Kのディスプレイを持つVRヘッドセット「Pimax」の予約開始、視野角210度を誇る企業向けヘッドセット「Star VR One」の登場など、デバイスの性能は日進月歩で向上しています。
レンズ
ディスプレイの次はレンズです。現行のOculus RiftやOculus Goに用いられているのは、のこぎり状の断面を持つフレネルレンズと呼ばれるもの（RiftやGoのレンズをよく見ると、同心円状の縞模様が刻まれているのが分かります）。フレネルレンズは、その物理的な性質上、綺麗に映像提示できるパネルの解像度は（片目）4K程度であり、140度以上の視野角も実現するのが難しいとエイブラッシュ氏は語ります。（以下の図の左がフレネルレンズ)。
こうした問題点を解決する一つの手段として、パンケーキレンズを採用する方法があります(図の右)。これは一眼レフカメラなどにも用いられている薄型のレンズで、（フレネルレンズのような表面の刻みが無いので）解像度は理論上無限にあげることができる上、視野角も200度程度まで広げることが可能になります。
しかし、パンケーキレンズを採用すると、視野角と光学系のコンパクトさはトレードオフの関係になってしまいます。氏はデバイスの小型化の未来を見据え、ウェーブガイド式の光学系に注目しているそうです(図の右)。ウェーブガイド式の光学系ではレンズに関して眼と反対の位置にあるディスプレイを覗くのではなく、薄いプレートの中に照射した光が反射や屈折を経て目に届きます。この技術は現在、グラス状のARデバイスに用いられています。
Oculusは初めて、将来のVRヘッドセットのコンセプトデザインを示しました。あくまでコンセプトであり、実際に制作しているものではありませんが、Oculusは最終的にこのようなグラス型デバイスの実現を目指しているとのこと。ここまでの小型化・軽量化を実現するのに、ウェーブガイド式の光学系は適していると言います。
視線追跡とフォービエイテッドレンダリング
「フォービエイテッドレンダリングは、5年以内にVRの中核を担うテクノロジーになる」
（OC3 基調講演 2016年）
フォービエイテッド・レンダリング（Foveated Rendering）とは、人の中心視野ほど高解像度で、そして視野の外側に行くに従って低解像度で描画する手法のこと。視線追跡技術を用いて、視覚体験の品質を保ったまま、レンダリング負荷を下げることができる技術として、注目されています。
講演の中で使われた例。画面中央右に小さな白い四角形が描かれており、そこに目を合わせている限り、上図から下図に画面が切り替わっても違いに気づかない（下図では山野が画像の周辺視野になり解像度が大幅に落ちている）。
ディープラーニングなどによって、ピクセルの補完を行えるようになったことは、当時予想していなかったことだと氏は語ります。現在は、フォービエイテッド・レンダリングについて「今から4年以内に実用化されると思う」とやや下方修正ながらも、概ね順当に開発が進んでいるようです。
またフォービエイテッド・レンダリングを実現するためには、質の高い視線追跡技術が不可欠です。先ほど紹介した新型プロトタイプHalf Domeではすでに視線追跡機能が実装されています。まだ取り組むべき課題が残っているとしながらも開発は順調とのこと。「VRデバイスにおける視線追跡技術は、5年以内に高品質なものが実現するだろう」と2016年になされた予言は概ね的中していると言えそうです。
またTobiiアイトラッキングシステムが搭載されているStar VR Oneのように、すでにフォービエイテッド・レンダリングを搭載したヘッドセットも存在しています。今後の技術動向に注目です。
オーディオ、インタラクション、コンピュータビジョン
オーディオ
「バーチャル空間での音の伝搬を正確にシミュレーションすることは重要だ。五年以内に、家庭で素早く手軽にHRTF（頭部伝達関数）が生成出来るようになるだろう」
（OC3 基調講演 2016年）
続いて検証を行ったのはオーディオについて。2018年現在、VRヘッドセットにはヘッドホンが内蔵されるタイプが増えつつあります。
人によって耳の位置や形は違っており、こうした差異はその人が知覚する音に影響を与えています。つまり同じ音でも人によって聞こえ方が異なるのです。また耳で聴いただけで音源の位置や動きが分かるのも、耳の形のおかげです。
HRTFとは、こうした個々人の耳の物理的な特徴を考慮した上で、ある音が特定の位置から両耳に届くまでの特性を表す関数です。Aさんの耳の特性を表すHRTFを用いてBさんに音を聴かせると、Bさんは定位のずれや音色に違和感を覚えてしまいます。
自身のHRTFを測定し、それを使用して音を聴いているエイブラッシュ氏。途中からプレイヤーは物理的には一切音を発していなかった（バーチャル空間で音が鳴っていた）にも関わらず、視覚に頼らずとも音源の位置をバッチリ捉えることが出来ている。
ただし、現在の技術ではHRTFの測定には専用の機器を用いて30分程度かかってしまい、市場投入には難があります。「2年前の予想は現在でも変わらないが、HRTFを誰もが簡単に測定・利用できるようになるまでには、思ったより時間がかかるかもしれない」とエイブラッシュ氏は述べています。
インタラクション
「Oculus Touchのようなコントローラーが、パソコンにおけるマウスのように、しばらくは主流なインターフェースであり続けるだろう。」
（OC3 基調講演 2016年）
バーチャル空間でインタラクションを行うために、Oculus Touchのようなコントローラーが主流であり続けるというのは予言通り。実際、来年発売を控えている一体型ヘッドセットOculus Questも、Touchと似た形状のコントローラーを採用しています。
「Touchコントローラーを超えるものがあるとすれば、それは自身の手を（コントローラーなしで）直接インタラクションに用いる技術しかない」
（OC3 基調講演 2016年）
この予想に対してエイブラッシュ氏は、「（物質的なコントローラーを介さず）自分の手を直接インタラクションに使える未来は、向こう五年では難しいかもしれないが、そう遠くない内に実現するだろう」と述べました。
こちらはFacebook Reality Lab内で行われている研究。世界最大のCG系カンファレンスであるSIGGRAPH2018のTechnical Papersにて発表されました。
光学式マーカを用いると指を個別に（どのマーカがどの指のものか）識別することが難しいという問題がありますが、ニューラルネットワークなどを用いてこれをクリア。個々の指を認識することでバーチャル空間においても繊細な指の動きを実現できる上、トラッキングのロストなども圧倒的に少ない手法を提案しています。講演では、ジェンガの積み木を指先で慎重に突いたり摘んだりするデモ動画が披露されました。
MR
「Mixed Realityは、VRにとって不可欠なものとなるだろう」
（OC3 基調講演 2016年）
OC3でエイブラッシュはAugmented Virtuality（※）について言及していました（当時氏はAugmented VRと表現していた）。OC5ではMRと呼んでいますが、いずれにせよ氏が語っているのはバーチャル環境と物理環境を融合すること。つまり物理的な存在とバーチャルな存在の両者が入り混じった環境において、ある物が物質であるかバーチャルであるかを気にすることなくインタラクションできる環境を実現する技術です。
編集注：Augmented Reality(AR)が現実（物理）環境にバーチャルな（≒コンピュータによる）要素を付加していく技術であるのに対して、Augmented Virtualityはバーチャルな環境に現実の（物理的な）要素を付加していく技術です。MRはこれら全てを内包するもので、物理環境とバーチャル環境の両要素を等しく自由に扱える環境を実現する技術を指しています。
講演で披露されたデモを見てみましょう。
こちらの部屋をカメラでスキャンし、3次元の空間構造を認識します。
ヘッドセットを通じてみた物理的な世界の映像。
コンピュータは物理世界の空間構造をこのように認識しています。すると……。
物理的に白かった机や黄色かったソファが、CGで完全に置き換えられてしまいました！しかも元の物理的な見え方と、このCGの見え方を自由に切り替えることができるのです。どれも位置や形が物理空間と矛盾しないように実現されており、もはや机が物理的に白かったかどうかなど大した問題ではありません。
他にもフォトグラフィックなCG空間の生成について紹介されました。右側はCGで再構成された空間ですが、ほとんどオリジナルとの違いがわかりません。講演では紹介されませんでしたが、Facebook Reality Labは、従来の3Dスキャナーでは難しいとされる鏡面やガラス面の反射の再現を可能にする研究も発表しています。
Oculus Questでは、ヘッドセットを付けたまま現実世界の構造を見ることのできる「MRモード」が搭載されると発表されました。FacebookはVR技術から研究を始めながら、最終的にMRの世界を実現を目指していると言えそうです。
バーチャルヒューマン（アバター）
「ソーシャルインタラクションの分野で非常に重要になってくる要素だが、5年以内にバーチャル空間で人間を完全に再現するのは無理だろう」
（OC3 基調講演 2016年）
予想から2年、この写真は2018年時点の研究成果です。右側は実写ではなく、機械学習などを用いてリアルタイムに3次元再構成したアバターです。向こう数年では実用化されるのは難しいものの、技術は確実に進歩しています。この研究もSIGGRAPH2018にて発表されました。複数のカメラ画像を用いて、ヘッドセットを装着していても顔の表情を再現できる手法を実現しています。
そしてバーチャルが融け込んだ世界へ
「理想的なVRデバイスが登場したら、たとえあなたが物理的にどんな場所にいようとも、自分の好きな環境で働くことができる」
エイブラッシュは最後に、理想的なMRの世界について言及しました。
カフェにいながらにしてバーチャル空間で同僚と打ち合わせをしている様子。手に持ったカップはバーチャル空間・物理空間どちらでも同じように見えており、物理環境には空中に浮かんだバーチャルなディスプレイが見えている。
2年前の氏の予想を手がかりに、こうした未来の実現に必要な要素の現状を紹介してきました。氏は「概ね予想通り。1年程度の遅れがあるものもあるが、一方でいくつかの領域では予想を上回るスピードで進歩している」とまとめました。
「今から4年以内に、VRは次の段階へステップアップするだろう。これは始まりだ。私の見る限りでは、VRの未来はこれ以上ないくらい明るく輝いている」
（OC5 基調講演 2018年）
彼のこの言葉で、会場は拍手で沸きました。
「何年後かに、我々は今この時代を振り返って素晴らしい時代だったと、未来を一緒に作り出した素晴らしい時代だったと思うことでしょう」
（OC5 基調講演 2018年）
そういってエイブラッシュ氏は、基調講演を締めくくりました。
Facebook / Oculusが見据えている未来が鮮やかに垣間見れたOculus Connect 5。彼らは毎年、新しい発表で我々をワクワクさせてくれます。来年は何を見せてくれるのでしょうか。
