Home » Metaが「Meta Quest 2」とコントローラーで全身トラッキングを試みる研究公開。「それらしい下半身」を機械学習で生成


テック 2022.10.10

Metaが「Meta Quest 2」とコントローラーで全身トラッキングを試みる研究公開。「それらしい下半身」を機械学習で生成

2022年9月20日、Metaの研究チームは、全身トラッキングに関する研究「QuestSim」を発表しました。本研究では、一体型VRヘッドセット「Meta Quest 2」と付属のコントローラー2つのみで、全身トラッキングを実現するための検証が行われています。

追加機器なしで「それらしい」下半身を生成

現行のVRヘッドセットは使用者の頭(=ヘッドセット)と手(=コントローラー等)の角度や動きを検出し、VR上に反映しています。その一方で、腰や膝、足といった下半身の部位を検出するセンサーが搭載されているケースはほぼなく、HTCの「VIVEトラッカー」、Shiftallの「HaritoraX」、Tundra Labsの「Tundraトラッカー」といった周辺機器を追加で身に着ける必要があります。

今回Metaが発表した研究は、これらの周辺機器無しで全身トラッキングを行います。ヘッドセットとコントローラーのトラッキングデータから、機械学習で「もっともらしい」全身ポーズを推定・生成します。

公開された映像では、Meta Quest 2とハンドコントローラーを身に着けた男性が歩いた際、全身の動きを追加の機器無しでアバターに反映する様子を確認できます。なお、発表によれば「QuestSim」のレイテンシーは160msであり、これについては「トラッキング中にも次のポーズを推定することで改善できるかもしれない」とコメントしています。

いわゆる「下半身が無い」問題への対策? 今後の進展は長足か

Metaは現在、メタバースサービス「Holizon Worlds」を展開していますが、同プラットフォームのアバターには下半身が存在しません。これは従来のVRヘッドセット群、ひいてはMeta Quest 2が単独で下半身をトラッキングできないための処理だと思われます。また、人気のソーシャルVRサービス「Rec Room」等では、デフォルトのアバターには下半身が存在しないケースが多々あります。

Metaのアンドリュー・ボズワースCTOは、この「下半身が無い」というユーザー間での議論を認識していると発言しており、2022年9月に、「相手からのみ見える脚」のアイディアを進めているとコメントしました。「QuestSim」は、あくまで他ユーザーのアバターの下半身を表示するのに適したシステムとされており、同問題の解決を目的とした技術である可能性も考えられます。

なお、この研究ではNVIDIAの「RTX 3080」を使って学習を行っています。これはMeta Quest 2等の一体型VRヘッドセットと比較して非常に強力なGPUであり、この「もっともらしい下半身」の表示機能がVRヘッドセット単体で動作するには、やや長足の進歩が必要とされそうです。

(参考)UploadVR
Mogura VRはUploadVRのパートナーメディアです。


VR/AR/VTuber専門メディア「Mogura」が今注目するキーワード