個人VTuberの三珠さくまるさんが、撮影済み動画を加工する自作ツールを公開しました。このツールはブラウザ上で動作し、動画や静止画を後付けして、顔だけをVTuberに変更できます。任意の素材を読み込ませることで、特定のVTuberモデルを合成可能です。
本ツールはVRM形式の3Dアバターに対応し、AIで顔の動きを追うMediaPipe（※Google提供のオープンソースの機械学習フレームワーク）機能を備えています。元の顔を隠す機能や、肩から下を非表示にする設定も可能です。ライティング調整で、環境光や平行光源の強さを変更できます。また、開発ソフトUnityで使用可能なデータ形式のJSON出力やZIP出力も実装されました。
https://x.com/MitamaSakumaru/status/2005203048159920154
表情管理や、3Dモデルの表面を作る網目状のパーツであるメッシュを消す機能も搭載。
現在は録画と編集モードの切り替えができ、デバッグ表示の切り替えも選択可能です。なお、モデルの構造によっては、動作しない場合があります。
開発者の三珠さくまるさんは、技術の無駄遣いを掲げて活動する個人VTuberです。過去には、現実のパフォーマーと並んでジャグリングを披露する動画や、3Dモデルの姿で実在の馬に乗り鏑馬に挑戦する動画も制作しています。XRと現実の身体能力を組み合わせ、現実とバーチャルを融合させる試みを続けています。
ツールの利用はこちら：https://390juggler.github.io/VRM_kaodake_tool/
参考
https://x.com/MitamaSakumaru/status/2005203048159920154
もぐら関連記事
