Oculusは、ゲームエンジンUnity向けに、音声からVR内のアバターの口の動きを表現するプラグインを公開しました。
このプラグインを使用することで、コミュニケションツールでアバターを使う際、表情認識をすることなく音声認識によりアバターの口を動かすことが可能になり、より自然なアバター同士のコミュニケーションが可能になります。
Oculusによると、このプラグインで使用されている「特定の発音から唇や表情などを表現する機能」はvisemeと呼ばれています。今回公開されたプラグインでは、sil, PP, FF, TH, DD, kk, CH, SS, nn, RR, aa, E, ih, oh, ouなど合計15の音に対応しているとのこと。向い合ってコミュニケーションをとっているときに、発音のとおりに顔が動くという要素は、アバターをより人間らしくします。
Gear VR向けに公開されているソーシャルVRアプリOculus Socialにはこのプラグインがさっそく実装されており、ライブボイスチャットを行う際に、発音の通りに表情が変化する様子を確認することができます。
アバターの動きを現実のプレイヤーの動きと同期させることで、アバターの人間らしさが増すという事例では、年明けに公開したFaceRigとLive２Dの組み合わせの例などもあります。
今後、より自然なアバターの表現の実現に向けた取組も増えてくることが予想されます。
（参考）
Road to VR / Oculus Launch Avatar Lip Sync Plugin for Unity
http://www.roadtovr.com/oculus-launch-avatar-lip-sync-plugin-for-unity-5/
※米Road to VRとMogura VRはパートナーシップメディアです。
