フェイスブックがVR内テキスト入力の研究内容を公開、物理キーボードと近い水準に

フェイスブックのAR/VR部門Facebook Reality Labs（FRL）は、物理的なキーボードを使わずに、AR/VRでテキスト入力を行うためのハンドトラッキングの研究内容を公開しました。マーカー付き手袋を使用しているものの、入力精度は物理キーボードの水準に近い数値となっています。

マーカー付き手袋とOculus Questのカメラで手指の動きを追跡

今回FRLが公開したのは、AR/VR空間上での操作の中でもっともフラストレーションがたまりやすい「文字入力」に関するもの。新たなハンドトラッキング方式では、マーカーを取り付けた手袋をOculus Questの内蔵カメラで追跡し、机などの平面上で文字入力ができるようになっています。

フェイスブックは研究がまだ初期段階であることを述べつつも、「新方式では高速タイピングが可能になり、ハンドトラッキングでの文字入力が実用的な水準に達する可能性がある」としています。

不規則な手指の動きはAIで予測

フェイスブックによれば、新方式の開発における課題は「どのように不規則なタイピングパターンを追跡するか」。物理的なフィードバックなしで手・指の動きを追跡するためには、音声認識で使われる解析技術を参考にしたとのこと。手の動きから次のキーストロークを予測することで、毎分73ワードの入力、誤入力率2.4パーセントと、物理キーボードの場合と近い数値になっています。

（フェイスブックが比較用に示したグラフ。左図は物理キーボード/Physical Keyboardとハンドトラッキング時の入力ワード数、右図は誤入力率について記載されている）