VR体験中の表情がヘッドセットに浮かび上がる Googleが認識技術を応用

7月末に開催されたSIGGRAPHのEmerging Technologiesにて、米Google社はVR空間でのアバターに、実世界の顔を持ち込むことが可能になる技術を公開しました。通常、VRを体験中の体験者の顔はヘッドマウントディスプレイ(HMD)によって遮蔽されて見えなくなっていますが、この技術を使うとまるでHMDが透過したように通常の顔が見えます。

このような通常のHMDによって顔が遮蔽された画像が、

このように透過します。

セットアップは非常に単純で、画面の指示通りに顔を縦横に振って、画面上に表示される点を目で追うだけで終わります。所要時間は2,3分ほどでとても短いです。

利用されているハードウェアは、Intel RealsenseなどのRGB-Dカメラ、Oculus Rift DK2、そしてSMI社のアイトラッカーなどの市販で入手可能なものがほとんどです。HMDの中でアイトラッカーを使っているので、目を閉じたり回すとそれに応じて表示されます。さらに、首を振っても正しく表示されます。

ただしHMDの中に実際の顔があるかは検知しないためHMDを外すと顔が2つになってしまいます

GoogleによるプロモーションビデオではTilt Brushなどのゲームを使ったMixed Reality Captureと合わせて利用されているシーンなどもあり、VRを使ったライブパフォーマンスなどへの応用なども想像できます。

https://www.youtube.com/watch?v=MW7un0_s_Oc

(参考)
Google公式サイト (英語)
https://research.googleblog.com/2017/02/headset-removal-for-virtual-and-mixed.html

 

関連するキーワード: Google

この記事を書いた人

  • 長谷川陸央

    ARが好きで、趣味でVRやARアプリを作ったりしています。
    主にイベントレポートを担当させていただきます。
    ボストン在住。
    Twitter: @ISpaghet

Mogura VR編集部では、インターン・ライター・編集者を募集しています!
現在、インターンの募集も積極的に行っております。応募はこちら!

応募ページへ

そのほかの業務については、詳しくは募集ページをご覧ください。

募集ページへ