VR/ARに関する技術の中に、現実空間をスキャンする「3Dスキャン」があります。Facebook Reality Lab（FRL、旧名Oculus Research）は、3Dスキャンの際に鏡やガラス面といった、他の物体を映す物も正しく捉える手法を公開しました。
従来は鏡の存在を無視
コンピュータービジョン技術において、予期せぬ対象が映り込む鏡やガラス面は厄介な存在でした。FRLはこの問題の解決手法を発見し、今後多くのアプリ開発に有用と考えられる道筋を示しています。
研究者のThomas Whelan氏はOculusの公式ブログの中で、「鏡は3Dスキャンの際に、ないものとして扱われていました」と振り返っています。そして「しかし現実にはどこにでもありますし、そのままでは3Dイメージの再構築の妨げとなってしまいます。そこで我々は古い慣習を打破し、3Dスキャンに関するこの一大問題に取り組むことにしました」と経緯を記しています。
鏡を正確に捉えることが鍵
FRLは公開したレポートの中で、次のように記述しています。
「鏡やガラス面は日常生活に必ず存在するものですが、スキャンするのは非常に困難です。まずは写り込んだ平面を確実に検出するということから始め、確実かつ正確に、鏡やガラス面の画像データを再構築するシステムを開発しました」
「また物体が写り込んだ鏡やガラス面を検出するアプローチには、多くの練習用データを用いた機械学習の手法も用いました。室内の環境をスキャンするというコアの機能だけでなく、今後様々な用途やアプリの拡大を図っていきたいです」
このシステムは、カメラに装着したパーツ（カメラリグ）を用いて、鏡やガラス面を検出します。そして機械学習で捉えた特徴の分析に基づき、鏡などの形を補正します。
レポートによれば、「（システムの）キーとなるアイディアは、カメラが鏡などを捉えたときだけに観察可能なタグを、カメラリグに付与すること」ということです。
（FRLレポートより。図の左から、鏡にタグ付けした状態で、カラー画像をインプットする→鏡を考慮せずに空間情報を再構築する→交差する斜線で表された鏡の部分を考慮し、空間情報を再構築する→鏡を含めたシーンの編集を行う。鏡の存在を検出することが、正確な空間情報の再構築とリアリティのある画像編集には不可欠）
デジタルと現実の自然な融合が可能に
このシステムの応用方法としては、より簡単に現実空間をスキャンすることが可能になり、よりリアルなVR体験が実現できる、というケースが考えられます。現実の世界とデジタルの世界をもっとリアルに融合できれば、鏡などが多く存在する空間にも、自分のアバターといったデジタルイメージを自然に重ねることが可能です。
プロセスの詳細は、今月バンクーバーで開催されるコンピューターグラフィックスの学会、SIGGRAPHにて発表予定です。
（参考）Upload VR
