Home » アバターに応用できれば便利? Webカメラひとつで全身トラッキング


テック 2018.09.01

アバターに応用できれば便利? Webカメラひとつで全身トラッキング

ハイエンドなVR体験やバーチャルYouTuber(バーチャルユーチューバー・VTuber)に欠かせないものとして、ボディトラッキングが挙げられます。専用のトラッキングデバイスやカメラ、赤外線センサーなどを使用して、現実の物体や人の動きをVR内の物体やアバターに反映し、より大きな没入感を得ることができます。

(HTC VIVEとVIVEトラッカーで全身をトラッキング、モーションキャプチャーができる「Orion」)

現状のトラッキングには様々なハイエンドなVRデバイスや外部センサーなどが必要になるほか、トラッキングしたい位置に合わせて専用のデバイス(VIVEトラッカーなど)を装着する必要があり、個人で行うには価格も手間も手軽とは言えません。しかし先日、この全身のトラッキングをWebカメラひとつで行う動画がTwitterにアップロードされ、開発者を中心に話題となっています。

今回、Twitterに動画をアップロードしたのはタイビィ氏(Twitter:@tiby_white)。過去には国際学生対抗バーチャルリアリティコンテスト(IVRC)に参加、コンピューターグラフィックスに関連する国際学会・展示会であるSIGGRAPHにも出展しています。

精度には課題が残るものの、単眼Webカメラで可能

使用されているのはカリフォルニア大学バークレー校マックス・プランク知能システム研究所、およびメリーランド大学カレッジパーク校による共同研究「End-to-end Recovery of Human Shape and Pose」です。

本研究の論文やソースコードはGitHubで公開されており、こちらをもとにメッシュ描画をカット、ポーズの推定(Pose Estimation)だけを適用しています。三次元の座標も取得できています。


(元論文ページより抜粋)

タイビィ氏いわく、現状は「吸いつくように正確なトラッキングは難しく、精度に課題がある」「カメラの中心に自分を置いておくと結構うまく取ってくれる」とのこと。Webカメラひとつでの全身トラッキングは難しいところもありますが、さらに研究や実装が進むことで、VR内での動作やバーチャルアバターの使用がより簡単になる可能性も十分考えられます。

本研究のソースコードはMITライセンスとなっているため、無償での使用が可能となっています。詳細はGitHubの当該ページにて。

(参考)TwitterGitHub


VR/AR/VTuber専門メディア「Mogura」が今注目するキーワード