Vive FocusやMirage Soloなど、PCやスマートフォンを必要としない一体型VRヘッドセットが数多く登場しています。しかし現時点では、ハイエンドのPC接続型ヘッドセットに見られるような、ハンドトラッキングが可能な一体型デバイスはまだ登場していません。
グーグルは、この現状を打破しうる研究成果を発表しています。同社はVRヘッドセットだけでハンドトラッキングが可能になるシステムを開発、実用化への期待を公表しています。
ハンドトラッキングの限界を突破
インサイドアウト方式でヘッドトラッキングとポジショントラッキングを実現した一体型のヘッドセットとしては、LenovoのMirage Soloや、HTC Vive Focusが発売されています。しかしどちらも付属のコントローラーが必要で、ハンドトラッキングの機能は限定的です。
グーグルは公表した論文の中で、このような一体型ヘッドセットのトラッキングの限界について、ハードウェア価格や計算コストが高くなることを原因に挙げています。そして、「（新しいヘッドセットでは）仕組みを単純化するために、モバイルのヘッドセットと同じカメラをトラッキングに使用します。対象物につけるセンサーや、追加のハードウェアは不要です」と記しています。
グーグルは、DaydreamのようにIMU（慣性計測装置）ベースのコントローラーだけでポジショントラッキングを実現しようとしており、将来的にはコントローラーがなくてもハンドトラッキングが可能になるとしています。
グーグルのハンドトラッキングの仕組み
OculusのSanta Cruzのようなインサイドアウト・トラッキングでは、コントローラーに搭載されたマーカーの位置をカメラで認識し、ハンドトラッキングを行っています。一方でグーグルは、マーカーなしにユーザーの腕や手の位置を推定し、トラッキングを行おうとしています。
[ads]
このためにグーグルは、ヘッドセットを通して見た画像の巨大なデータセットを用意しました。画像は、ユーザーがコントローラーを持つ様子がどう見えるかを示しています。そしてディープラーニング（深層学習）でカメラに画像を認識させ、コントローラの位置を推定させます。
この結果構築されたアルゴリズムを用いることで、新しい画像でもコントローラーの位置をリアルタイムに推定することが可能になります。IMUベースのコントローラーの位置情報を組み合わせれば、正確性を高めることができます。
公開された動画では、ヘッドセットの前でユーザーがコントローラーを動かす様子が見えます。そしてコントローラー自体がユーザーの腕に隠れてしまっても、コントローラーの位置を推定するマーカーは、手の動きを追跡している様子が確認できます。
実用化への道
グーグルがこのコンピューター・ビジョンのトラッキングシステムとアウトサイドイン・トラッキングの結果を比較したところ、「3D空間のトラッキングで平均33.5ミリのずれ」しか生じていないことが判明。30fps、シングルモバイルCPUという条件下でこの結果を出しており、モバイルVRヘッドセットへの応用が可能と結論付けています。
またグーグルは、今回アルゴリズム構築に使ったデータセットの公開を計画しています。他の研究者に活用を促し、トラッキングシステムの改善を図る狙いです。
（参考）Road to VR
Mogura VRはRoad to VRのパートナーメディアです。
