XR関連ハードウェア技術でトップを走り続けるMeta。同社はたびたびプロトタイプやその研究成果を発表しており、ソフトウェア、パーツ、開発用のシミュレーションシステム等、様々な方面からアプローチを試みていることが分かります。
本記事では、Metaの目標や現在地を読み解くためのヒントとして、2022年8月の国際カンファレンス「SIGGRAPH 2022」で発表された研究内容をご紹介します。
（HDR対応のプロトタイプ「Starburst」）
「現実と変わらない視覚的な体験」に突き進む
結論から述べれば、MetaはVRで現実と変わらない視覚的な体験を提供することを目指しています。一般消費者向けVRヘッドセットが発売されて以来、ハードウェアは様々な方面で進化を続けているものの、提供される視覚的な体験は、現実での物体の見え方等と異なる点がまだまだ残っています。
Metaの研究では、この「現実と同じ視覚体験」を提供するために重要な技術が複数発表されています。
・HDR VR：鮮やかな視覚体験を提供するHDR対応のプロトタイプ「Starburst」
・NeuralPassthrough：カメラパススルー映像の画質の改善
・歪みシミュレータ：視線に依存して光学系で生じる歪みを正確に再現するVR映像表示シミュレータ
・Drivable Volumetric Avatars(DVA)：現実に忠実なアバター表現の改善
・SNeRF：3Dシーンを好きな画風に変換するAI技術
なおSNeRFに関しては、Mogura VR Newsでも以前に取り上げているため省略します。詳細は以下のリンクから。
現実感や奥行き感を向上させるHDR VR
SIGGRAPH 2022では、Metaが以前発表した、HDR表示に対応したVRヘッドセットのプロトタイプ「Starburst」の紹介が行われました。「Starburst」は、HDRがVRの視覚的な体験に与える影響を確かめるために試作されたものです。MetaはHDR表示により、現実感や奥行き感を向上するとしています。
(既製品のみで構成されたHDR対応HMD「Startburst」。あくまでHDRのテスト用)
人間の視覚システムは、暗いところから明るいところまで、ほぼ0から100万ニトの輝度を捉えられます。「ニト(nits)」は、明るさの度合を表す単位のことで、Dolby Labsが調査した結果から、ディスプレイの最大輝度の最適な値は10,000nits前後であることが分かっています。
Metaの「Starburst」は10,000ニトを超えることを目標に設計され、0.05nitsから16,000nits程度の輝度を実現しています。これにより、屋内の明るさや夜間の環境をディスプレイ上で再現できるようになりました。最近のHDR TVは数百ニト、Meta Quest 2は100ニト程度であり、これらを大幅に上回る輝度で表示できます。なお、これは検証のためのプロトタイプであり、一般向けに提供されるものではありません。
（レンズ越しに撮影したデモ映像）
パススルー機能の画質を改善するNeuralPassthrough
さらにHMDのパススルー機能を改善する「NeuralPassthrough」が発表されています。VRヘッドセット「Meta Quest 2」は、ヘッドセットを外すことなく外の様子を確認するために、トラッキング用のカメラ映像を表示する「パススルー機能」が搭載されています。しかし、パススルーに利用するカメラは物理的にユーザーの目と同じ位置にはありません。したがって、撮影された映像をそのまま表示すると、ユーザーは映像に違和感を感じてしまいます。
NeuralPassthroughはAIを利用し、カメラ映像（下の画像の赤色領域）を、装着者の目の位置から撮影した映像（下の画像の青色領域）にリアルタイムで変換することで、この違和感を軽減します。NeuralPassthroughでは、Quest 2に搭載されている「Patssthrough+」機能で発生していた空間が歪む現象が抑えられるとしています。
（パススルーカメラとユーザーの目の位置の違いによる映像のズレ。動画はこちら）
目の動きで生じる歪みを正確に再現するVRシミュレータ
Metaは歪み補正の開発を加速させるため、利用者の視線に基づき、光学系で生じる歪みを正確に再現するVR映像表示シミュレータを発表しました。
VRヘッドセットでは、ディスプレイに表示している映像がレンズを通ることで歪むため、ソフトウェアで補正しなければなりません。しかし、これまでは補正が不十分で、ユーザーが目を動かしてバーチャル空間を見回すと、空間が歪んで見えてしまう「Pupil swim」という問題で現実感を損なわせてしまうことがありました。Pupil swimは、見回したときに目の位置が動的に変わっているにもかかわらず、目が正面を見ている位置にあると仮定して、静的に映像の歪み補正を行っていることが原因です。
Metaが開発したシミュレータは、アイトラッキング（視線追跡）を利用して、視線に依存する歪みを再現できます。120Hzの高速表示可能なOLEDディスプレイとアクティブシャッターメガネを利用し、ステレオ映像を表示。接眼レンズなどの物理的な光学系を制作することなく、素早く光学系と歪み補正がテストできます。Metaによれば、VRヘッドセット用のレンズを作るのには数週間から数か月かかり、それをテストに利用できるVRヘッドセットとして構築するには、さらに長い時間がかかっていました。このシミュレータを利用することで、光学系による歪み補正に関する研究が大幅に加速することが期待されます。またMetaはこの問題を解決するためのレンズ開発にも力を入れているとのこと。
衣服の変形を忠実に再現する「ボリュメトリックアバター」
Metaはコミュニケーションのために、ARやVRで現実と見分けがつかないような実物そっくりのアバターを作る技術の開発を進めてきました。SIGGRAPH2022では、衣服を身につけたアバターを、リアルタイムで忠実に表示する技術「Drivable Volumetric Avatars(DVA)」が発表されています。
通常は体の姿勢情報だけで身体モデルを動かすと、衣服の変形は再現できませんでした。DVAでは「Texel-Aligned Features」と呼ばれる表現を利用して、しわなどの複雑な衣服の変形を忠実にモデリングできるようになりました。
この技術はMetaの「Reality Labs」にある160台のカメラが密に配置されたキャプチャシステムで動作していますが、マイクロソフトの「Azure Kinect」を8台利用した簡易なシステムでも利用できます。現在は一方向のテレプレゼンスしか出来ませんが、将来的には双方向テレプレゼンス用の撮影装置に対応する可能性がありうる、としています。
（参考）論文(HDR VR)、論文(NeuralPassthrough)、論文(歪曲シミュレータ)、論文(DVA)、Tech at Meta、UploadVR(HDR VR)
Mogura VRはUploadVRのパートナーメディアです。
