Meta Quest 3と3S向けの「パススルーカメラAPI」が、Meta Horizonストアで配信されるアプリでも正式に利用可能になりました。これまで実験的に提供されていたこのAPIは、開発者がVRヘッドセットのカメラ映像に直接アクセスし、独自の映像解析や物体認識機能を追加可能にします。
パススルーAPIとは、VR/MRヘッドセットの前面カメラから取得したリアルタイムの映像を、開発者が自由に利用できるようにする技術です。従来、Meta Questでは、手や体の位置など一部の処理済みデータだけが提供されていました。そのため、映像そのものを活用した独自機能の追加は困難でしたが、今回のAPI開放によってこの制限がなくなります。
Metaは2024年9月の開発者会議Meta ConnectでAPI提供を予告し、2025年3月には関連する詳細な情報を公開していました。
予告通り、Meta XR Core SDKのv76が正式リリースにあわせ、パススルーカメラAPIの一般提供が開始されました。開発者は所定の審査を通過することで、この機能を組み込んだアプリをMeta Horizonストアで配信できます。この機能は約6週間前に試験的に公開され、ストア経由以外で配信が可能でしたが、正式なストアアプリへの組み込みが解放されたことで、本格的な利用が可能になります。
パススルーカメラAPIを使用するには、アプリがヘッドセットのカメラを使うことに対してユーザーの明確な許可が必要です。許可されると、アプリ側はヘッドセット前面のカラーカメラ映像にアクセスでき、レンズ情報やヘッドセットの動きに関するデータも取得できます。
技術的には、Meta QuestではAndroidの標準的なCamera2 APIとOpenXRが使用されており、最大1280×960ピクセルの映像を1秒あたり最大30フレームの速度で利用できます。ただし、遅延が40〜60ミリ秒あり、高速な物体の追跡や細かい文字の認識などには適さないとされています。なお、Unityの場合、WebCamTextureという方法でカメラ映像を取得可能ですが、一度に利用できるカメラは1つに限られます。
開発者はこのAPIを利用して、QRコードの読み取りや現実のテーブル上にゲームキャラクターを表示するなど、様々な機能を開発できます。また、産業向けには物理的な対象物の認識や、クラウドを利用した高度な画像解析・視覚AIとの連携も可能です。ただし、利用可能な機能の範囲は、Questに搭載されたチップセットの性能またはクラウド上の解析サービスの利用状況に依存します。
（Metaのソフトウェアエンジニアであるロベルト・コヴィエロ氏による機能紹介YouTube）
Metaは開発者向けに、カメラ映像を表示するものや、物体検出など具体的な機能例をGitHub上で公開しています。また、Metaのソフトウェアエンジニアであるロベルト・コヴィエロ氏は追加のサンプル「QuestCameraKit」を公開中です。
（参考）UploadVR
Mogura VRはUploadVRのパートナーメディアです。
