VTuber事務所「ホロライブプロダクション」を運営するカバー株式会社が、VTuberたちが利用している「ホロライブアプリ」のトラッキング技術の改良について、公式noteで解説しています。
（カバー社公式noteより）
「ホロライブアプリ」は、ホロライブのVTuberたちが配信の際に利用しているトラッキングアプリで、VTuberたちが自宅で3Dモデルによる配信を実現した「おうち3D配信」機能がファンの間で話題となりました。
カバー社のクリエイティブ制作本部技術開発部では、本トラッキングシステムをさらに改良。普段のVTuberの配信では頭に対して振り手振りを使ったインタラクションは比較的少ないことに着目し、「自宅で手軽に、上半身を自由に動かしながら、指の細かな動きもトラッキングできる」ようなシステムの実現を目指したそうです。
具体的には、トラッキングの処理を「フェイストラッキング」「ボディトラッキング」「フィンガートラッキング」の3つに分割し、それぞれ独立して制御できるように設計したとのこと。これにより、様々なメーカーの多様なトラッカーを柔軟に組み合わせて利用可能になります。
例えば、ボディトラッキングは小型で手軽なモーションキャプチャー「mocopi」、フィンガートラッキングはiPhoneのTrueDepthカメラを活用した「ToF AR」を組み合わせられますが、ToF ARはカメラの画角から外れるとトラッキングが切れてしまうため、ToF ARの代わりに「Rokokoグローブ」を使用することもできます。
一方、ToF ARはデバイスを装着しなくても利用できる一方、Rokokoグローブはサムズアップした際に親指が上がっていないように見えるケースもあるとのこと。このように各トラッキングデバイスにはそれぞれ長所と短所があるため、VTuberは状況や目的に合わせてデバイスを自由に組み合わせて表現できるようになっています。
この機能は現在開発最終段階にあり、今後タレントに公開される予定です。また、タレントから意見を募り、より良い配信システムにしていくと述べました。
（参考）カバー社公式note
