デイリーランキング

N高がVR入学式を開催、新入生も登壇者もバーチャルに

業界動向

2019/03/23 12:00

PCと一体型VRヘッドセットをワイヤレス接続 クァルコムも技術開発

テック

2019/03/22 11:30

【体験レポ】Rift Sで体感する、Oculusの徹底的な「使いやすさ」へのこだわり

Oculus Rift

2019/03/21 00:15

Oculusが新VRヘッドセット「Rift S」発表 外部センサー不要、49,800円で今春発売

Oculus Rift

2019/03/21 00:00

【続報】一体型VRヘッドセットOculus Quest、スペックなど新情報公開

Oculus Quest

2019/03/21 00:00

MoguLive facebook twitter hatena line

VRの「いま」を掘りだすニュースメディア

MoguraVR

人間にまた一歩近づく 話者とアバターの口の動きがリアルタイムに連動

ディズニーの技術研究部門であるDisney Researchと複数の大学との共同研究によって、バーチャル空間内のアバターが発話する際の口の動きを再現する技術が発表されました。このシステムにはディープラーニング(深層学習)を使用することで、アバターの口の動きをより正確に、リアルに再現することができます。

アバターの口の動きをリアルタイムで再現

研究に参加したのはDisney Researchをはじめ英国のイースト・アングリア大学、カリフォルニア工科大学、カーネギーメロン大学で、本技術は論文「ディープラーニングを用いたアニメーションの生成(A Deep Learning Approach for Generalized Animation)」に掲載しています。

この論文で紹介している技術は、単一の話者を撮影した参照映像を教師データとして用いるもので、映像は約8時間に及び、2,543個のセンテンスを収録しています。このデータを用いて、話者が発話をする際の様々な口の動きをディープラーニングによってシステムが学習することで、発話データのみを基にしてそれに応じた口の動きを自動的に生成できるようにするものです。

これによって、様々な人の発話データをシステムが分析してそれに応じた口の動きを自動的に生成して、CGアバターに適応することができます。また、他の様々な言語にも対応可能で、デモ動画ではアメリカ、イギリス英語をはじめドイツ語、韓国語、中国語やポーランド語などの様々な言語話者の口の動きをスムーズに再現しています。

https://www.youtube.com/watch?v=9zL7qejW9fE

ソーシャルVRで活用できる技術

従来のアニメーション制作では、キャラクターが発話する際の口の動作は、熟練したアニメーターが手作業で描き込んでいました。しかし音声データのみで自然な口の動きを自動生成する本システムは、アニメーション制作に大きなメリットをもたらします。

VRにおいては、本技術はソーシャルVRでの活用が見込まれます。バーチャル空間内で他者とのコミュニケーションができるソーシャルVRでユーザーが発話する際、アバターの口の動きをリアルに再現することによって、バーチャル空間内でのコミュニケーションがよりリアルで、臨場感のあるものになります。

現在は表情トラッキングを用いて、目と口の動きをリアルタイムでトラッキングできるVRデバイスも登場していますが、このようなデバイスや技術が普及するまでは、発話データに応じて口の動きを自動生成する技術が役立つものと思われます。

いくつかのソーシャルVRアプリでは、ユーザーの発話に応じてアバターの口の動きを再現する技術が既に使用されています。またOculusはUnity向けに、音声からバーチャル空間内のアバターに口の動きを再現するプラグインも公開しています。

しかし、これらの技術は入力された音声のみを基にして口の動きを再現しますが、今回発表された技術はディープラーニングを用いることで、口の動きをより細部に至るまで、正確に再現することが可能になります。

(参考)
Road to VR / New Procedural Speech Animation From Disney Research Could Make for More Realistic VR Avatars(英語)
https://www.roadtovr.com/disney-research-procedural-speech-animation-vr-deep-learning/

Mogura VRはRoad to VRのパートナーメディアです。

バンダイナムコ、VR体験施設『VR ZONE』を国内外20店舗以上に拡大

2017/08/18 15:12 ビジネス活用事例

あなたの視線でイケメンが…!「ドリフェス!」VRライブ体験 10月より全国展開

2017/08/18 15:12 イベント情報