VTuber事務所「ホロライブプロダクション」を運営するカバー株式会社が、「おうち3D配信」で採用しているアバター技術の一部を公式noteで公開しました。
（カバー株式会社 公式noteより）
「おうち3D配信」とは、ホロライブプロダクション所属のVTuberたちが、スタジオではなく自宅でも3D配信を可能にしたシステムです。上半身だけでなく全身での配信や、ホロライブのVTuber同士の3Dコラボも実現し、ファンの間でも話題となりました。
公式noteの「おうち3D配信を支えるトラッキングシステムについて」と題し、トラッキングの仕組みを解説しています。VTuberの表情にはiPhoneのARKitを採用。体の動きは、モバイルモーションキャプチャ「mocopi」やキーボードによる歩行モーション、選択式アニメーションなど、複数のトラッキング入力を採用していると明かしました。
（実際に複数のトラッキング入力が使われた配信）
さらに、人型モデルの姿勢計算をする際、Unityの特殊な事情についても細かく解説しています。あくまで技術者向けの内容とはなっていますが、ホロライブVTuberの3D配信が、ひとつのシステムや機材のみで成立しているわけではなく、複数の技術の統合の結果、実現していることが見て取れます。
公式noteの詳細はこちら。
https://note.cover-corp.com/n/n7a413a4c167b
カバー株式会社では以前より、上記のようなテック紹介を積極的に行っています。これには関心領域のエンジニアの採用などを目的とした意図もあるようですが、表舞台ではあまり明かされることのない専門的な技術部分が公に公開されることで、VTuber業界全体への貢献に繋がっていると言えそうです。
（参考）公式note
