グーグルは、VRを体験しているプレイヤーとVR空間を合成し、さらにヘッドセットで隠れた表情を再現することで、外からでも体験者の感情を分かりやすくする技術を開発しました。
ヘッドセットが透けるように表情が見える合成技術
VRの中でプレイヤーが何をしているかを伝えるにはグリーンバックを利用したVR空間との合成が有用ですが、ヘッドセットで隠れた顔だけが見えず、いまいち体験の雰囲気が伝わりづらいという欠点がありました。
そこでグーグルのR&D;部門であるGoogle ResearchとDaydream Labsは、HMDを装着しているユーザーの顔を見ることができる新しい技術を発表。
まず開発チームは、3Dビジョン、機械学習、グラフィックス技術を組み合わせ、体験者の顔のキャプチャーデータからそっくりの顔のモデルを構築します。
その後、アイトラッキング技術を搭載したHTC Viveを用い、視線と表情を再現。それを映像に映っているHMDに合成することで、まるでヘッドセットが透けているかのように表情が見える技術を実現しています。
今後YouTubeで利用可能に
Google Researchブログでは「この技術は、VRビデオ会議、マルチプレイVRゲーム、友人や家族と一緒に遊ぶときなど、VRでのコミュニケーションやソーシャル体験をより表情豊かにします。何も見えないまったく空白のヘッドセットから、写真のリアリズムを見れば、仲間のVRユーザーの顔がVR世界で大きな変化になることが約束されています」と説明しています。
このプロジェクトはGoogle Research、Daydream LabsとYouTubeチームが共同で開発を続け、将来クリエイター向けのYouTubeスペースで利用できるようになる予定です。
(参考)
VRFocus / Mixed Reality VR Videos Become More Expressive Thanks to Google Research and Daydream Labs(英語)
http://www.vrfocus.com/2017/02/mixed-reality-vr-videos-become-more-expressive-thanks-to-google-research-and-daydream-labs/
※Mogura VR は、VRFocusとパートナーシップを結んでいます。
