Home » 【体験レポあり】コロプラ、VRコミュニケーションをより身近に 視線と表情を認識するシステム『FACE』発表


活用事例 2017.05.29

【体験レポあり】コロプラ、VRコミュニケーションをより身近に 視線と表情を認識するシステム『FACE』発表


VRに対して懐疑的な人にとって「VRでのコミュニケーションは、現実のコミュニケーションより劣る」と考えがちではないでしょうか。

例えば「アバター同士だと、笑顔でも本来の自分の表情ではない」「困り顔や微笑などの細やかな表情がだせないのではないか?」「本当に相手と目を合わせてるのだろうか?」といったように、現実で会う方がずっといいのではないだろうか、と。

今回、そんな「VRでのコミュニケーション」に関係するシステムが発表されました。VRでお互いに視線があい、自分の表情がそのままアバターに反映されるコミュニケーションシステム『FACE~Face Communication Entertainment~』(以下、『FACE』)です。株式会社コロプラ(以下コロプラ)の100%子会社で360度動画の配信・制作を行う株式会社360Channel(以下360Channel)が発表しました。

目と表情が自然なコミュニケーション体験

発表に際し、本システムを体験することができました。体験では3人同時にVR内で、動物などのアバターになりコミュニケーションをとりました。

筆者は美少女のアバターで体験。三面鏡で顔を傾け、口を開けたり閉じたり、片頬だけ膨らませてみたり、ウィンクをしてみたり、やや遅れがありますが、鏡を見てる感覚に近いです。今回は表情だけで身振りはないことが物足りなく感じます。

VR内の部屋ではあらいぐまと白熊が待ってました。あらいぐまのアバターがホストとなり、挨拶した後、写真を撮ったり、360度映像を再生しました。映像が終了し、元の部屋に戻ってから撮った写真を何枚か広げ3人でどの表情がいいかを品評しあう、まるで3人で旅行に行って帰ってきたような体験でした。

普通にしゃべって、普通に自撮りして終わったので、あまりにも自然で逆に驚きを感じないというのが正直なところです。話相手は見た目こそあらいぐまと白熊ですが、表情とセリフとの間に違和感を感じないため、人間が話しているように感じました。

[wc_row][wc_column size=”one-half” position=”first”]
P5262452.JPG
[/wc_column][wc_column size=”one-half” position=”last”]
P5262453.JPG
[/wc_column][/wc_row]

本システムは視線を追跡できるVRヘッドマウントディスプレイ『FOVE』と、口や頬の動きの情報を取得するFacial Tracking Camera『Binary VR』を利用し、表情データと視線の動きを取得。それらをHolotech Studios の3Dモデルレンダリング技術『Face Rig』によりアバターへ反映しています。複数人同時にVR内でコミュニケーションするためには360Channelの同時通信システムが使われているとのこと。

[wc_row][wc_column size=”one-half” position=”first”]
FOVE0_and_BinaryVR.jpg

[/wc_column][wc_column size=”one-half” position=”last”]P5262492.JPG

[/wc_column][/wc_row]

https://www.youtube.com/watch?v=QyLYDImSMTo&feature;=youtu.be

作るきっかけ

P5262436.JPG
体験後、株式会社コロプラ、株式会社360Channelの代表取締役社長・馬場功淳氏の挨拶がありました。

馬場功淳氏:VRはゲーム以外の大きな要素はコミュニケーションだと思っていて、最近世界のビッグプレイヤーがコミュニケーションを主体にしたアプリをだしてきたということは当社の考え方が違っていなかったともいえます。

参考記事「フェイスブック、ソーシャルVRアプリ『Facebook Spaces』ベータ版配信開始

馬場功淳氏:世界中で40社ほどに投資をしていて、投資をする立場にいると世界中の素晴らしい技術を見ることができます。組み合わせると凄いコミュニケーション技術ができるのではないかと気づき、プロジェクト化したのが始まりです。

VRに携わっている人が夢に描いていたシステムがすべて民生品で作られて、ここにあります。今後どうなるかというと、まだ不出来なところがあり、今すぐ製品化はいまのところないです。発表して反応を見たいです。

i.JPG
今回は3人で体験しましたが、近い目標は4人で同時体験できるようにするとのこと。

発表にあたり、株式会社FOVE代表取締役の小島由香氏、株式会社360ChannelのFACEプロジェクトマネージャー・澤木一晃氏、株式会社360Channel経営企画/プロデューサー・中島健登氏のトークセッションも行われました。

中島健登氏:今回の新プロジェクトを体験してみていかがですか?

小島由香氏:アイトラッキングの利用はUI操作やフォービエイテッド・レンダリングの利用が多いですが、もともとFOVEは3年前、アイトラッキングをコミュニケーションに利用したくてはじめたことです。感情表現こそが視線追跡のキラーではないかと考えています。

今回『FACE』を体験してみて、アバターとして初めて目と目があう体験をしました。これは私にとっても見たかった世界で、コミュニケーションの新天地だと思っています。『FACE』は新しい感覚を想起させる体験だと感じました。

まゆげや瞬きも認識するので、VR内で澤木さんが美少女アバターではにかむと、本当に生きているように感じます。澤木さんのことを知っていても先入観が入って、澤木さんの中にある美少女を見出したような感じがしました。

初対面のエンジニアの人があらいぐまに入っていたとき、その後人間の状態で会うと熊に似ている気がしたのと同じように、ポジティブな先入観を与える感覚ですね。

中島氏:『FOVE』のロードマップには、表情の認識はありましたか?
小島氏:ありました。時間がかかってしまいまだできていませんが、目線や表情認識はコミュニケーションにとって大切だと思っています。

中島氏:今後追加したい機能は何ですか?

澤木一晃氏:ボディランゲージができるようにしたいです。今写真を撮るときにピースなどポーズを簡単に取れるようにしたいです。

小島氏:ボディランゲージは入れたいですが、弊社のCTOは人間は肩の動きから入れないとぎこちないと言っていまして、そうなるとFOVEだけでは難しいので他社とのコラボレーションを考えています。

中島氏:使用用途としてはなにが考えられるのでしょうか?

小島氏:ミーティングやブレインストーミングは表情を読めないVRでは無理ではないかと思っていましたが、今回のように表情がとれることで出来そうだと思いました。2次元キャラクターといかにナチュラルに会話できるかは気になっています。アイトラッキングによってはじめて感情を表現できる場になるのではと考えています。

P5262457.JPG

澤木氏:VR内でアバターを使った番組制作。アイトラッキングとフェイストラッキングが当たり前になれば360度映像でも平面動画でもどこを見たときにどのような表情で見たかをデータとしてとれます。今は星4や星5などの評価レビューが今後、自動で細かくとれるのではないでしょうか。

FACE』 360度動画

『FACE』はあくまでも技術研究なので、今後の事業化や製品化の予定はないとのことですが、研究開発段階のため様々な可能性を模索しており、『FACE』に興味をもった企業からの連絡を待っているとのことです。

『FACE』を体験してみて、ボディランゲージができないため、写真を撮るデモだけでなく、目を合わせる必要があるゲームなども体験してみたかったと思いました。アバターの表情が普通に見え、操作が簡単なことでVRでのコミュニケーションが身近に感じられる人が更に増えるかもしれません。


VR/AR/VTuber専門メディア「Mogura」が今注目するキーワード