フェイスブックが、VRヘッドセットOculus Quest（オキュラス クエスト）とOculus Rift Sに搭載されているシステム「Oculus Insight」の解説記事を公式ブログにて公開、注目を集めています。
「Oculus Insight」は、インサイドアウト形式（※）で体験者やコントローラーの場所・位置を把握するシステム。VRヘッドセットに内蔵されたカメラを使用し、コンピュータビジョンによりプレイヤーの位置を推定します。
（※インサイドアウト……VR体験者や、体験者が持つコントローラーなどの位置を「外部センサーの設置なしで」把握するトラッキング方式。Oculus QuestやOculus Rift Sは外部センサーを置かず、ヘッドセットとコントローラーだけで場所を把握する。これに対し、外部センサーの設置を必要とする方式を「アウトサイドイン」と呼ぶ）
第2世代のSLAM
解説記事では、主に「Oculus Insight」と「SLAM」についての説明が行われました。「SLAM」とは「Simultaneous Localization and Mapping」の略称で、3次元位置推定を行う画像認識技術です。インサイドアウト形式に不可欠であり、Oculusのデバイス以外でも、様々な種類のVRとARを支えています。
フェイスブックは「Oculus Insight」が同社における第2世代のSLAMであると説明。第1世代のSLAM（モバイル用）が、内蔵カメラ1基とIMU（※）1つで動作するものだったのに対して、「Oculus Insight」は、複数のIMUと超広角カメラ、赤外線LEDの組み合わせで動作している点が大きく違うと解説します。
（IMU：慣性計測装置。3軸の角度と加速度を検出する）
同社によれば、一体型VRヘッドセットであるOculus Questに実装するために、開発時はトラッキング精度に加えて消費電力にも気を遣ったとのこと。
ユーザーの動きに追従するという困難
また、フェイスブックは「Oculus Insight」の設計にあたり、VRという技術がユーザーの視界全てを覆うものであり、「ユーザーの動きに確実に追従する必要性が、この問題を困難なものにしていた」と説明。
「Oculus Insight」はこれらの問題を、ミリ秒単位で頭部や手が次に移動する位置を予測することによって解決しました。このシステムは「ジッター（jitter）」と呼ばれるグラフィック問題の軽減にも繋がったとしています。
VRの没入感を左右するもう1つのポイント、レイテンシ（遅延）には、低レイテンシのIMUから送信されるデータと運動力学モデルの組み合わせで対処。レイテンシとは、データ転送に伴う遅延時間を指す言葉です。数値が少ないほど、ユーザーの動きが画面内に反映されるまでの時間が速くなります。
フェイスブックによれば、ジッターとレイテンシの削減が「Oculus Insight」の大きな機能であり、VRでの次世代のリアリズムを実現したとのこと。同システムは“swimminess”と呼ばれる、VR内にユーザーの動きが正しく反映されない現象を最小化することにも役立った、と公式ブログは説明しています。
自宅でもデータ検証
「Oculus Insight」を開発するにあたって、システムの開発者たちはOptiTrack社製のカメラアレイを使用し、同カメラで撮影された映像と「Oculus Insight」のデータを比較しました。この比較検討によって開発者たちは、コンピュータービジョンのアルゴリズムを最適化し、mm（ミリメートル）単位まで精度を向上させることに成功しています。
フェイスブックによれば、開発者たちはオフィススペースや（それぞれの）自宅といった、
製品化後のQuestの使用が想定される場所でテストを行ったとのこと。
