ホーム
PSVR
Oculus Go
Vive・Vive Pro
VTuber
AR/MR
スマホVR
VR体験情報
ビジネス利用
VR動画
技術動向
イベント情報
ゲーム・アプリ
業界動向・将来予測

VRの「いま」を掘りだすニュースメディア

MoguraVR

2018.08.03

鏡やガラス面の映り込みも正確に 現実を3Dスキャンする技術が進化

VR/ARに関する技術の中に、現実空間をスキャンする「3Dスキャン」があります。Facebook Reality Lab(FRL、旧名Oculus Research)は、3Dスキャンの際に鏡やガラス面といった、他の物体を映す物も正しく捉える手法を公開しました。

従来は鏡の存在を無視

コンピュータービジョン技術において、予期せぬ対象が映り込む鏡やガラス面は厄介な存在でした。FRLはこの問題の解決手法を発見し、今後多くのアプリ開発に有用と考えられる道筋を示しています。

研究者のThomas Whelan氏はOculusの公式ブログの中で、「鏡は3Dスキャンの際に、ないものとして扱われていました」と振り返っています。そして「しかし現実にはどこにでもありますし、そのままでは3Dイメージの再構築の妨げとなってしまいます。そこで我々は古い慣習を打破し、3Dスキャンに関するこの一大問題に取り組むことにしました」と経緯を記しています。

鏡を正確に捉えることが鍵

FRLは公開したレポートの中で、次のように記述しています。
「鏡やガラス面は日常生活に必ず存在するものですが、スキャンするのは非常に困難です。まずは写り込んだ平面を確実に検出するということから始め、確実かつ正確に、鏡やガラス面の画像データを再構築するシステムを開発しました」

「また物体が写り込んだ鏡やガラス面を検出するアプローチには、多くの練習用データを用いた機械学習の手法も用いました。室内の環境をスキャンするというコアの機能だけでなく、今後様々な用途やアプリの拡大を図っていきたいです」

https://www.youtube.com/watch?v=L0TaqsUGcZ8

このシステムは、カメラに装着したパーツ(カメラリグ)を用いて、鏡やガラス面を検出します。そして機械学習で捉えた特徴の分析に基づき、鏡などの形を補正します。
レポートによれば、「(システムの)キーとなるアイディアは、カメラが鏡などを捉えたときだけに観察可能なタグを、カメラリグに付与すること」ということです。

FRLレポートより。図の左から、鏡にタグ付けした状態で、カラー画像をインプットする→鏡を考慮せずに空間情報を再構築する→交差する斜線で表された鏡の部分を考慮し、空間情報を再構築する→鏡を含めたシーンの編集を行う。鏡の存在を検出することが、正確な空間情報の再構築とリアリティのある画像編集には不可欠)

デジタルと現実の自然な融合が可能に

このシステムの応用方法としては、より簡単に現実空間をスキャンすることが可能になり、よりリアルなVR体験が実現できる、というケースが考えられます。現実の世界とデジタルの世界をもっとリアルに融合できれば、鏡などが多く存在する空間にも、自分のアバターといったデジタルイメージを自然に重ねることが可能です。

プロセスの詳細は、今月バンクーバーで開催されるコンピューターグラフィックスの学会、SIGGRAPHにて発表予定です。

(参考)Upload VR

Mogura VR主催 イベント情報

VR/AR/MR ビジネスEXPO TOKYO

VR体験施設の検索サイト「taiken.tv」



Mogura VR主催 イベント情報

VR/AR/MR ビジネスEXPO TOKYO

VR体験施設の検索サイト「taiken.tv」


この記事を書いた人

法人様向けVR/AR/MRサービスのご案内
Advertise on Mogura VR(English)

デイリーランキング

VR/AR/MRをビジネスでどう活用する?
体験&相談はお任せください!
VR/AR/MRショールーム 体験しながらビジネス相談「もぐラボ」

機材+コンテンツ+運営スタッフを
Mogura VR がフルサポート
機材+コンテンツ+運営スタッフを Mogura VR がフルサポート 「出前VR」

VTuber ライブ配信予定表

VR業界 2018年
バーチャルユーチューバー 最新情報まとめ
ニンジャマスクの購入はこちら! Mogura VR Store

「Insta360 Pro 体験説明会」 Advertisement

VR/AR/MR 用語集