フェイスブックのR&D部門（AR/VR担当）Facebook Reality Labs（以下FRL）は、同部門が開発を進めている「ハイパーリアリスティック・リアルタイム・バーチャルアバター（Hyper-realistic Virtual Avatars）」のメソッドを公開しました。
「Hyper-realistic Virtual Avatars」は、同部門が以前進めていた研究プロジェクト「Codec Avatars」を発展させたものです。VRヘッドセット内の3つのカメラにより、使用者の顔全体の動きを認識。VRアバターを生成します。
よりリアルなアバターを生成
「Hyper-realistic Virtual Avatars」は、機械学習とコンピュータービジョン技術によって動作します。「Codec Avatars」と比較して、より複雑な人間の表情を捉えることを可能としています。
公式ブログは「Hyper-realistic Virtual Avatars」を以下のように説明しています。
我々のシステムはリアルタイム形式で動作し、（人の）頬の膨らみや咬唇 、動く舌、ウインクといった幅広い（表情の）表現に対応します。以前の方法では、これらの動きに対応するのは困難でした。
公開された映像からは、専用のVRヘッドセットを装着した男女の顔が、精緻に再現され、表情もしっかりとトラッキングされていることが確認できます。
論文も公開
今回のメソット公開と同時に、FRLは「Hyper-realistic Virtual Avatars」に関する論文を公開しました。題名は「マルチビュー形式のイメージ転換を通じた、VRフェイシャルアニメーション（VR Facial Animation via Multiview Image Translation）」です。
公開された論文によれば、「Hyper-realistic Virtual Avatars」は“トレーニング用”と“トラッキング用”という、2種類の異なるVRヘッドセットを使用して取り組みが進められたとのこと。
トレーニング用のVRヘッドセットには、9つのカメラが内蔵されており、これらのカメラがヘッドセット装着者の顔と目を、広い範囲でキャプチャーします。このシステムは、インプットされたイメージと、ユーザーのデジタルスキャンの“紐づけ”をより行いやすくする機能を有します。
紐づけ作業の終了後は、トラッキング用VRヘッドセットを使用します。同VRヘッドセットに搭載された内蔵カメラ（3基）は、トレーニング用VRヘッドセットの内蔵カメラ9基のうち3基にそれぞれ対応します。
トラッキング用VRヘッドセットの内蔵カメラは、トレーニング用VRヘッドセットで収集されたデータを活用して機能し、アバターの正確なアニメーション（動き）の入力を可能にします。
（参考）Road to VR
Mogura VRはRoad to VRのパートナーメディアです。
