Googleが開発を進める、XRデバイス向け新OS「Android XR」では開発者にパススルー機能を解放するようです。海外メディアが報じました。正式に提供されれば、サードパーティーの開発者が、Android XRデバイスのカメラから映像のデータを直接取得しアプリ等に活用できます。
「パススルー」とはMRモードの際に周囲を確認する機能を指します。VRヘッドセットの前面にカメラが搭載されているMRヘッドセットでは、そのカメラ経由のデータを開発者がどの程度アプリに使用できるか、ハードウェアごとに事情が異なります。
Apple Vision Proの「visionOS 2」では、非公開の社内アプリ向けにパススルー機能の直接アクセスを許可していますが、Appleからの特別なライセンスが必要であり、ビジネス利用のみに限定されています。
開発者からは、パススルー機能へのアクセスを求める声があがっています。独自のコンピュータービジョンモデルを実行したり、より詳細な環境認識を行ったりするために、カメラ映像への直接のアクセスが必要となるからです。
今回、海外のVR/AR開発者でありブロガーのVitillo氏はGoogleの広報担当者に「Android XRのパススルー機能に関する質問」をメールで投げかけたところ、下記の回答があったと明らかにしました。
・他のAndroidアプリと同様に、開発者はXRのためにユーザーの許可を得て、既存のカメラフレームを使用できます。
・開発者向け記事では、アプリが要求できるその他のアクセス権限について詳しく説明しています： https://developer.android.com/develop/xr/get-started#understand-permissions
・開発者は、装着者の周囲を撮影するカメラのストリームに対して、camera_id=0を要求できます。これは標準的なAndroidの用語で“rear camera”に相当します。同様に、開発者は装着者を撮影するメインカメラのストリームに対してcamera_id=1を要求できます。これは“front camera”に相当します。どちらのストリームも、標準的なAndroid Camera API、すなわち”Camera2”と”CameraX”を通じてアクセスされます。
・周囲撮影用のカメラフィード（スマートフォンのバックカメラと同等）にアクセスするには、アプリはカメラ権限を要求する必要があります（スマートフォンのカメラアクセスに要求される権限に似ています）。
・アプリが装着者を撮影するカメラへのアクセスを要求すると、ユーザーのアバターを含む画像ストリームを受け取ります。このアバタービデオストリームは、ヘッドセット上のアバタープロバイダーアプリ/サービスによって生成されます。これらのアプリは、OpenXR APIからのユーザートラッキングデータ（例えば頭、手、目、顔）に基づいてストリームを生成します。このトラッキングデータは、ユーザーの動きや表情をモニターする物理的な内向きのカメラから取得されます。
海外メディアUploadVRも、Googleから同様の回答を得た旨を明らかにしています。しかしながら、Android XRは現在もプレビュー段階にあり、正式リリースまでに仕様が変更される可能性があり注意が必要です。
同じくMetaも2024年9月のMeta Connectは、2025年初めにQuest向けの「パススルーAPI」を提供することを発表。カメラアクセスを開放する動きが強まっています。
Mogura VRはUploadVRのパートナーメディアです。
