ハイエンドなVR体験やバーチャルYouTuber(バーチャルユーチューバー・VTuber)に欠かせないものとして、ボディトラッキングが挙げられます。専用のトラッキングデバイスやカメラ、赤外線センサーなどを使用して、現実の物体や人の動きをVR内の物体やアバターに反映し、より大きな没入感を得ることができます。
(HTC VIVEとVIVEトラッカーで全身をトラッキング、モーションキャプチャーができる「Orion」)
現状のトラッキングには様々なハイエンドなVRデバイスや外部センサーなどが必要になるほか、トラッキングしたい位置に合わせて専用のデバイス(VIVEトラッカーなど)を装着する必要があり、個人で行うには価格も手間も手軽とは言えません。しかし先日、この全身のトラッキングをWebカメラひとつで行う動画がTwitterにアップロードされ、開発者を中心に話題となっています。
https://t.co/Iimwir6VLG を動かしてみました。普通のwebカメラでボディトラッキングできます。openposeと違って三次元座標が取れるのが特徴です。バ美肉と相性良いかも? pic.twitter.com/MA2ht2kW4Z
— タイビィ@猫の尻尾 (@tiby_white) 2018年8月29日
今回、Twitterに動画をアップロードしたのはタイビィ氏(Twitter:@tiby_white)。過去には国際学生対抗バーチャルリアリティコンテスト(IVRC)に参加、コンピューターグラフィックスに関連する国際学会・展示会であるSIGGRAPHにも出展しています。
精度には課題が残るものの、単眼Webカメラで可能
使用されているのはカリフォルニア大学バークレー校、マックス・プランク知能システム研究所、およびメリーランド大学カレッジパーク校による共同研究「End-to-end Recovery of Human Shape and Pose」です。
本研究の論文やソースコードはGitHubで公開されており、こちらをもとにメッシュ描画をカット、ポーズの推定(Pose Estimation)だけを適用しています。三次元の座標も取得できています。
タイビィ氏いわく、現状は「吸いつくように正確なトラッキングは難しく、精度に課題がある」「カメラの中心に自分を置いておくと結構うまく取ってくれる」とのこと。Webカメラひとつでの全身トラッキングは難しいところもありますが、さらに研究や実装が進むことで、VR内での動作やバーチャルアバターの使用がより簡単になる可能性も十分考えられます。
本研究のソースコードはMITライセンスとなっているため、無償での使用が可能となっています。詳細はGitHubの当該ページにて。