VRデバイスとPCを接続するアプリ「Virtual Desktop」のMeta Quest版に、精密なハンドトラッキング機能と、「VIVEトラッカー」を“エミュレート”するシステムが導入されました。このふたつの機能は、ソーシャルVR「VRChat」などでの使用を想定したシステムです。追加機器を購入しなくても、全身の身体の動きをアバターと同期できる“フルトラッキング”に近い動作が行えます。
本記事ではMeta Quest Proを使って、アップデートされた「Virtual Desktop」で3Dアバターをどのように動かせるかを検証します。
外部ツール無しで、よりリアルな動きが可能に
現状、Meta Questシリーズで「VRChat」を遊ぶ場合、頭部（Quest本体）と両腕（コントローラー）の位置と動きが、アバターに反映されます。その他の部位は、あらかじめアバターに設定されたアニメーションに従って動作します。そのため、フルトラッキングを目指す場合は、その他の部位（肘や胸、下半身など）に外部トラッカーを装着して、「VRChat」に動きを反映させる仕組みとなっています。
トラッカーには「HaritoraX」や「VIVEトラッカー」「mocopi」などを使用するのが主流ですが、多くのデバイスは高価（数万円～）で、「VIVEトラッカー」の場合は、外部センサーであるベースステーションを別途設置する手間もあります。
「Virtual Desktop」の「VIVEトラッカー」エミュレート機能は、これらのトラッカーを仮想的に（データ上で）再現して、疑似的に動きを再現するシステムです。起動すると、アバターの肘や胸といった部位を、現実と同じように動かすことができます。
まず、エミュレート機能をオンにするために、「Virtual Desktop」のVR側メニューからStreaming欄を開いた後、「Foward traking data to PC」を選び「Emulate SteamVR Vive trackers」を有効化します。「SteamVR」を起動した際に、「VIVEトラッカー」のマークが表示されていればOKです。
（赤枠の部分を有効化）
（仮想トラッカーを有効にしていない状態）
（“V”マークが付いた「VIVEトラッカー」アイコンが出ればOK）
上半身のトラッキング精度は大幅向上
上半身のトラッキングは、起動時から有効になっています。まずは「身体を捻りつつ、頭だけ逆方向に向ける」というテストを行いました。
通常の場合、アバターの頭と上半身は“連動”してしまうのですが、仮想トラッカーを動作させている写真では、頭部だけが横を向いているのが確認できると思います。
（普通だと胴体と頭部の動きが“シンクロ”しますが…）
（トラッカーを使うと、ほぼ独立して動かせる！）
肘も仮想トラッカーが大きく働く箇所で、より再現度の高い腕の動きを実現します。画像では「両肘をくっ付けて、顎を支える」ポーズをやってみました。通常状態で撮影した写真では肘が微妙な角度になっていますが、仮想トラッカーを有効にした写真では、しっかりとポーズが再現されているのが分かるかと思います。
（左右、離れたままの肘）
（トラッカー有効時は、より自然なポージングに）
上半身のトラッキングは、ハンドコントローラーから得られる情報も処理に使用しているようです。筆者はQuest Proコントローラーを使っていますが、外部トラッカーで稀にあるトラッキングが“飛ぶ”といった現象は、全く起こりませんでした。
下半身の動きは、あくまで推定程度
下半身のトラッキングは、「VRChat」を起動した後、通常の全身トラッキングと同じようにキャリブレーション（調整）を行うことで利用できます。
こちらは、ヘッドセットの位置から下半身の動きやポジションを推定して動作する仕組み。機能は限られますが「椅子に座る」といった姿勢などは、問題なく行えます
（普通だと、姿勢を下げるとしゃがみモーションに）
（トラッカー有効状態。座ると、ポーズが着座体勢に移行）
なお仮想トラッカー機能は、別途ツールを使うことで、特定部位のみを無効化（有効化）も可能。例えば「 HaritoraX Wireless」を所有している場合、上半身のみを「Virtual Desktop」で動かして、下半身はトラッカーを使うといった運用もできます。
すべての指を動かせるハンドトラッキング
ハンドトラッキング機能は、自分の手の動きとアバターの手指を連動できるシステムです。
「Virtual Desktop」には、以前からハンドトラッキング機能が備わっていましたが、指を自由に動かすことができませんでした。今回、すべての指の動きを認識できる、VALVE INDEXコントローラーのエミュレート機能が実装されたことで、大幅に没入感が向上した形です。
ハンドトラッキングを「Virtual Desktop」で使うためには、まずImput設定から「Hand tracking」を有効にします。その後Streaming欄に移動し、「Emulate Index Controllers」を有効化することで準備完了です。
この状態では、Questコントローラーがシステム上、VALVE INDEXコントローラーとして認識されます。ボタン設定がINDEXコン準拠になるので、一部操作感が変わるほか、「OVR」などの外部アプリのキーバインドを再度行う必要があるので注意してください。コントローラーを置くとハンドトラッキングが起動します。
（「OVR」のキーバインド画面。QuestコンではなくINDEXコンが表示されます）
ハンドトラッキングの操作感については、まだ“発展途上”という印象。手の動きはしっかりと拾ってくれるのですが、Quest Proのカメラ範囲（ハンドトラッキングを認識するエリア）が狭く、そこを外れると動きがフリーズしてしまいます。
「座った状態で腕を下に降ろす」「腕を伸ばして飲み物を取る」といった動作でも固まってしまうので、没入感はとても高いものの、普段使いはちょっと大変と感じました。また、スティック操作が使えないので、アバターを移動させるのも難しいです。
まとめ：アバターの“総合力”が高まる良アプデ
今回の「Virtual Desktop」の更新は、アバターの没入感を大幅に高める良質なアップデートと言えます。アプリ本体だけで利用できるので、追加トラッカーの購入といった、大きな出費を求められないのが非常に嬉しいポイントです。
「Virtual Desktop」は継続的なアップデートで知られています。将来的には、下半身トラッキングの精度向上や、ハンドトラッキングの範囲拡大といった更新が行われると嬉しいところです。
「Virtual Desktop」本体の導入方法は、こちらの記事で確認できます。
（執筆：井文）
