Facebookは、視線の焦点位置を自在に操れるかのような、ディープラーニングを用いたレンダリングライブラリ「DeepFocus」を、オープンソース化することを発表しました。DeepFocusはVRアプリで活用すれば、視線の先がよりクリアになることが期待されます。
クリアな視線で、より立体感のあるVR体験に
現実世界では、目の前の自分の手や遠くの風景など距離が異なっているものを連続して見ても、自然に視点を合わせることが可能です。VRヘッドセットでは光源の位置が固定のため、焦点を変えることはできません。VR体験中での視界の違和感が避けられず、不快感を生じる原因となります。
酷い場合は、「適合的眼球離反運動の不一致」と呼ばれる現象が起こる可能性もあります。これは、本来、VRヘッドセット側が意図的にユーザーの目に錯覚させたい奥行と、ユーザーの脳が立体視した結果の奥行が一致しないことが原因で、目が疲れてしまう現象です。
これにより、VR空間でも同様な視点の位置合わせができれば、より没入感のあるVR体験が実現できると考えられていました。
Facebookは、SIGGRAPH Asia 2018で本技術を発表しました。視線の先で焦点が合う位置でのみ高解像な画像を提示することで、クリアな視点だけでなく、VR空間の奥行感やリアルさも実現できるのです。
AIを駆使したハイパワーな技術
「DeepFocus」は、カラー画像・デプス画像を用い、ディープラーニングにより実現された技術です。
ネットワーク構成は、焦点の合わない位置にブラーをかけたり、深度合成、多層レイヤーの分解、多視点イメージを正確に同期するよう仕組みとなっています。これにより、リアルタイムに網膜上の像のくっきり具合・ぼやけ具合を実現しています。
ディープラーニングベースの画像分析を行っていた既存のAIシステムとは異なり、視線の先の必要な位置で高解像性を維持する傍ら、裏で画像処理プロセスを進行させる仕組みを採っています。
誰でも利用可能なライブラリ
「DeepFocus」はオープンソース化され、同時に訓練用のデータも公開されています。
また、「DeepFocus」はハードウェアに依存せず、VRのヘッドマウントディスプレイだけでなく、ライトフィールドディスプレイを伴うARのヘッドセットにも利用可能です。
Facebookは、これが新しいVRシステムを開発するエンジニアや、画像処理や視覚の研究者らの助けになることを願っている、とブログで記述しています。