VRヘッドセットを装着しながら現実世界の様子が見える「パススルー」機能は、以前から複数のデバイスが搭載しています。しかし逆に、周囲の人がVRユーザーの表情（目元）を見ることはできません。
今回、フェイスブックのVR/AR部門Facebook Reality Labs（FRL）は、この課題を解決するべく「リバースパススルー」に関する研究成果を公表しました。
デバイス前面に「表情を投影」、現在はプロトタイプ
「リバースパススルー」は、ヘッドセットを装着したユーザーの目が周囲の人から見えるというもの。アイコンタクトなどを取りながら、違和感なくコミュニケーションが行えることを意図しています。
現在はプロトタイプ段階ですが、下図のようにヘッドセット前面に3Dライトフィールドディスプレイを搭載し、ユーザーの顔を映し出します(画像はOculus Rift Sの前面にディスプレイを搭載したプロトタイプ、2019年)。ユーザーの顔は、ヘッドセットに内蔵したアイトラッキングカメラで撮影しています。
3Dディスプレイ利用がポイント
リバースパススルーのポイントの1つが、3Dディスプレイを用いる点です。Facebookによれば、2Dディスプレイでフラットな映像を投影すると、見た目に違和感があり、アイコンタクトを行うことが難しくなるとのこと。3Dディスプレイにすることで、目やその周囲がヘッドセット前面の正しい位置に表示され、相手(＝ヘッドセットを装着していない人)が位置を変えても問題なく見えるということです。
（左から順に「外部ディスプレイが機能していないもの」、「2Dディスプレイに目元を投影したもの」そして「プロトタイプ同様3Dディスプレイに投影したもの」。）
またこの3Dディスプレイは、マイクロレンズアレイ方式のライトフィールドディスプレイを採用しています。異なる角度からディスプレイを見た際は、それぞれに対応する見え方で表示。複数の人がヘッドセットユーザーに対面しても、立ち位置に対応して正しく目元が見えます。
なお前述の通り現在はプロトタイプの初期段階であり、シビアすぎる角度（訳注：ヘッドセットユーザーの真横など）から見ることはできない、ヘッドセットのスクリーンから数センチ以内のものしか認識・投影できないといった限界はあります。
超リアルなアバター活用も？
これまでのプロトタイプ版では、ヘッドセットユーザーの顔を捉えるためにステレオカメラを利用してきました。しかし投影される目や表情は生き生きとしたものでなく、長期的な視点では改善が求められています。そこで開発チームが検討するのが、FRLの別の研究成果”Codec Avatar”の活用です。下記のイメージのように、本人にそっくりのアバターの表情を投影すると、はるかにリアルな表情を見ることができます。
こうした改善を含め、FRLでは今後もリバースパススルーの研究開発を進行する計画です。8月9日から開催されるSIGGRAPH 2021では、本研究の詳細報告が予定されています。
（参考）Facebook
