Metaは9月末に開催した開発者会議Meta Connectにて、VR/MRヘッドセット「Meta Quest」の開発者向けに「パススルーAPI」を提供する計画を明らかにしました。「パススルー」とはMRモードの際に周囲を確認する機能のこと。予告通りAPIが提供されれば、サードパーティーの開発者でも「Meta Quest」独自の拡張機能を使用できるようになります。
現在の「Meta Quest」開発環境では、サードパーティー開発者がカメラパススルー機能に直接アクセスできません。代わりに、開発者は手や体の骨格座標、家具などの境界を含む環境3Dメッシュ、一部のオブジェクト追跡機能等のデータを利用できますが、カメラから取得した映像を直接扱うことはできません。
「パススルーAPI」が開放されれば、開発者が独自のコンピュータービジョンモデルを実行したり、より高度なMRコンテンツを提供可能となります。
具体的には、以下のような機能が可能になると予想されています：
1. 追跡されたオブジェクト：現実世界の物体をより正確に認識し、それらとインタラクションできるアプリケーションの開発
2. AIアプリケーション：カメラからの映像を直接AIモデルに入力し、リアルタイムで分析や処理を行う機能
3. 高度なオーバーレイ：現実世界の映像に、より精密で文脈に応じたデジタル情報を重ねる能力
4. シーンの理解：周囲の環境をより深く理解し、それに基づいて適切に反応するアプリケーションの開発
Metaの発表によると、「パススルーAPI」は2025年初頭にリリースされる予定です。なおAPIの具体的な仕様や、利用に際しての制限事項などの詳細はまだ明らかにされていません。
また、Meta Questシリーズと同様のMRヘッドセットであるApple Vision ProではビデオパススルーAPIに相当するAPIは開発者に開放されていません。開発者にとっては待望の機能であり、どのように活用されるのか期待したいところです。
（参考）UploadVR
Mogura VRはUploadVRのパートナーメディアです。
