6月9日、Metaのメタバース部門・Reality Labsは、姿勢推定に関する研究論文「QuestEnvSim」を公開しました。本研究ではVRヘッドセット「Meta Quest 2」とコントローラーのみを使用。追加のトラッキングデバイスを使わない、全身の姿勢推定についての検証が進められています。
（出所：論文著者Sunmin Lee氏によるYouTube動画より引用）
椅子に座るユーザーの下半身を推定可能に
本研究に関する論文は、MetaのReality Labs部門に所属する研究者ら3名と韓国・ソウル大学の研究者2名のチーム研究として公開されました。公開された論文名は「QuestEnvSim」。この研究者らは2022年9月にも、強化学習モデル「QuestSim」を発表しており、「QuestEnvSim」はそのアップデート版です。
「QuestEnvSim」は「Meta Quest 2」の本体と2つのコントローラーからのトラッキングデータだけで、全身の姿勢を推定できます。さらに前モデルでは処理できなかった“家具や椅子と相互作用するユーザーの姿勢”の推定が可能となっています。
（「QuestEnvSim」のYouTube動画）
（「QuestSim」のYouTube動画）
なぜ「下半身がないアバター」ばかりなのか
2023年現在、コンシューマ向けVRヘッドセットの多くは、VRヘッドセットとコントローラーの位置情報のみをトラッキングしています。アバターを使えるソーシャルVRプラットフォーム等では、この位置情報をもとに「インバースキネマティクス（Inverse Kinematics/IK）」と呼ばれる手法を応用し、アバターの肘や胴体の位置を推定しています。
しかし、「脚の位置」となると話は別です。頭と手の位置情報から推定できる脚の位置は無限に存在しており、ユーザーの動作を正確に反映することはほぼ不可能です。それゆえ、「Horizon Worlds」や「Rec Room」等のソーシャルVRプラットフォームでは、上半身や手だけのアバターが採用されています。
（出所：Meta）
全身を正確にトラッキングする場合、追加のトラッキングデバイスが必要となります。HTCのVIVEシリーズに対応する各種トラッカーや、ソニーのモバイルモーションキャプチャー「mocopi」などが代表例です。
また異なる解決策として、スマートフォンなどのカメラを使ったトラッキングも各企業から発表されています。しかし、この方法は撮影する方向が限定されており、全身を使った複雑な動作には対応できません。
実用化には時間がかかる見通し
「QuestEnvSim」では、「Meta Quest 2」とコントローラーのみで、既存の「QuestSim」以上に正確な脚の姿勢推定に成功しています。一方、「QuestEnvSim」の実用化にはさまざまな障壁があります。
例えば、本論文では「QuestEnvSim」に必要なハードウェアスペックには言及されていません。こうした実験や研究では、強力なGPUを使い、低いフレームレートで実行することが多く、「Meta Quest 2」でそのまま実行するには、ハードウェアスペックが不足していると思われます。
また、「現実世界に置かれた家具をどうスキャンし、バーチャル空間内に設置されたオブジェクトとどのようにリンクさせるのか」「動作させる場合のバッテリー消費はどれくらいなのか」「全身の動きと手の位置をリアルタイムでどう接続するのか」「そもそもシステム上、アバター本人が自分の脚を見下ろすことは不可能ではないか」。これらの問題を解決するには、まだ時間がかかりそうです。
Metaの戦略は？
MetaのCTOを務めるAndrew Bosworth氏は、2022年にInstagramに投稿した動画で、アバターの足の取り扱いに関して下記のようにコメントしています。
「自分のアバターに脚がついていて、それが自分の本当の脚（の位置）と一致しないのは、人々にとって非常に大きな違和感があります。でももちろん、私たちは他の人に脚をつけることができます。だから私たちは、第三者から自然に見える脚の開発に取り組んでいます——なぜなら、自分の本当の脚の位置を他の人は知らないはずなので——それが私たちの現在の戦略です」
（参考）UploadVR
Mogura VRはUploadVRのパートナーメディアです。
