3Dモデル共有プラットフォーム「VRoid Hub」に、フェイストラッキング機能が実装されました。Webカメラを使って、アップロードされたアバターの顔や上半身を動かすことができます。
「VRoid Hub」は、自分や他の利用者が公開した3Dアバターをチェックできるサイト。2024年に3Dモデルの撮影が可能になるアップデートが行われていましたが、今回、更に利用範囲が拡大した形です。
フェイストラッキング機能は、自分がアップロードしたアバターのほか「モデル登録者以外の利用：OK」となっている3Dモデルで使用可能。カメラが動きを認識して、モデルの顔や首の向き・表情・手の位置を動かすことができます。
今回は、「VRoid Hub」公式がアップロードしているサンプルアバターを使って、フェイストラッキング機能のテストを行います。
フェイストラッキングを行う際は、動かしてみたいアバターを選択した後、画面右上の“顔マーク”を選択します。注意事項が表示されるので、カメラの許可が求められた場合はOKしましょう。
（赤い丸の部分をクリックすると、フェイストラッキングモードが起動）
フェイストラッキングが起動すると、アバターが以下のように動いてくれます。
（筆者がウインクすると、モデル側もしっかりと認識）
（首の動作も、しっかりと追従してくれます）
（手の場合、軽く動かす分には問題なしなのですが…（後述））
筆者が試してみたところ、現時点での「VRoid Hub」のフェイストラッキング機能は、「顔はしっかりと動くものの、体の動きは改善の余地あり」という感想です。口や目の動きは拾ってくれる一方で、腕は少しでもカメラから外れると初期位置に戻ってしまい、ポーズを保つのはかなり難しいです。ハンドサインも、大まかな動きは取れますが「握りこぶし」や「ピース（指を開く）」といった動作は認識されませんでした。
（ピースを作ろうとしてみましたが、このような手の形に）
（握りこぶしは、こんな感じの結果。特に親指の動作が“鬼門”に見えます）
なおフェイストラッキング機能では、メニューから各表情のパラメーターを調整して、顔の動作をチェックできます。
（メニューでは背景色も変更可能）
（“怒り”のパラメーターを100%に設定した表情）
まとめ
「VRoid Hub」のフェイストラッキング機能は、やや課題を抱えつつも前途有望な機能です。例えば「VRChat」でも、アバターのフェイストラッキング（や身体の動き）は楽しめますが、VRの着用が必須な上、専用のソフトをPCに入れるといった下準備が必要になります。そういった手間なく楽しめるのは、「VRoid Hub」の大きな利点と言えるでしょう。首から下の動作を、より精密に認識可能になるアップデートの配信を楽しみに待ちたいところです。
執筆：井文
