デイリーランキング

視線追跡搭載の「VIVE Pro Eye」6月28日発売、中国発の“分離型”VRデバイス登場 ー 週間振り返りVR/AR/MRニュース

業界動向

2019/06/24 08:00

VIVE COSMOS、デザインが発表 トラッキング用のカメラは6基に

VIVE

2019/06/21 23:32

ウェブで3Dモデルをグリグリ動かす グーグルがフォーマットやツールを発表

テック

2019/06/24 11:00

一体型VRヘッドセットの現状や将来性、開発のポイントを語るイベント デジハリで7月18日開催

業界動向

2019/06/24 12:00

人混みを気にせず“モナ・リザ”を見れる ルーブル美術館がVR導入

活用事例

2019/06/21 12:00

MoguLive facebook twitter hatena line

VRの「いま」を掘りだすニュースメディア

MoguraVR

鏡やガラス面の映り込みも正確に 現実を3Dスキャンする技術が進化

VR/ARに関する技術の中に、現実空間をスキャンする「3Dスキャン」があります。Facebook Reality Lab(FRL、旧名Oculus Research)は、3Dスキャンの際に鏡やガラス面といった、他の物体を映す物も正しく捉える手法を公開しました。

従来は鏡の存在を無視

コンピュータービジョン技術において、予期せぬ対象が映り込む鏡やガラス面は厄介な存在でした。FRLはこの問題の解決手法を発見し、今後多くのアプリ開発に有用と考えられる道筋を示しています。

研究者のThomas Whelan氏はOculusの公式ブログの中で、「鏡は3Dスキャンの際に、ないものとして扱われていました」と振り返っています。そして「しかし現実にはどこにでもありますし、そのままでは3Dイメージの再構築の妨げとなってしまいます。そこで我々は古い慣習を打破し、3Dスキャンに関するこの一大問題に取り組むことにしました」と経緯を記しています。

鏡を正確に捉えることが鍵

FRLは公開したレポートの中で、次のように記述しています。
「鏡やガラス面は日常生活に必ず存在するものですが、スキャンするのは非常に困難です。まずは写り込んだ平面を確実に検出するということから始め、確実かつ正確に、鏡やガラス面の画像データを再構築するシステムを開発しました」

「また物体が写り込んだ鏡やガラス面を検出するアプローチには、多くの練習用データを用いた機械学習の手法も用いました。室内の環境をスキャンするというコアの機能だけでなく、今後様々な用途やアプリの拡大を図っていきたいです」

https://www.youtube.com/watch?v=L0TaqsUGcZ8

このシステムは、カメラに装着したパーツ(カメラリグ)を用いて、鏡やガラス面を検出します。そして機械学習で捉えた特徴の分析に基づき、鏡などの形を補正します。
レポートによれば、「(システムの)キーとなるアイディアは、カメラが鏡などを捉えたときだけに観察可能なタグを、カメラリグに付与すること」ということです。

FRLレポートより。図の左から、鏡にタグ付けした状態で、カラー画像をインプットする→鏡を考慮せずに空間情報を再構築する→交差する斜線で表された鏡の部分を考慮し、空間情報を再構築する→鏡を含めたシーンの編集を行う。鏡の存在を検出することが、正確な空間情報の再構築とリアリティのある画像編集には不可欠)

デジタルと現実の自然な融合が可能に

このシステムの応用方法としては、より簡単に現実空間をスキャンすることが可能になり、よりリアルなVR体験が実現できる、というケースが考えられます。現実の世界とデジタルの世界をもっとリアルに融合できれば、鏡などが多く存在する空間にも、自分のアバターといったデジタルイメージを自然に重ねることが可能です。

プロセスの詳細は、今月バンクーバーで開催されるコンピューターグラフィックスの学会、SIGGRAPHにて発表予定です。

(参考)Upload VR

pixivによる無料の3Dキャラ作成ツール「VRoid Studio」一般提供が開始

2018/08/03 18:30 VTuber 最新ニュース一覧

富士急「セカオワ」リアル脱出ゲームはソニーの触覚技術採用 臨場感生み出す

2018/08/03 18:30 イベント情報