Metaが「パススルーAPI」を近日中にリリースする可能性が高まっています。3月1日、Metaのサポートページ「ヘッドセットカメラ権限に関する詳細な説明が公開されました。海外メディアUploadVRは「APIの提供が目前である示唆」と報じています。
Metaは2024年9月のConnect conferenceで、パススルーAPIの提供を予告しており、サードパーティー開発者に新たな可能性を開くことが期待されています。現在のMeta Questの開発環境では、開発者はカメラパススルー機能に直接アクセスできませんでしたが、この変更により大きな転換が見込まれます。
パススルーAPIとは、VR/MRヘッドセットの前面に搭載されたカメラからのリアルタイム映像に、開発者が直接アクセスできるようになる技術です。これまでは、手や体の骨格座標、環境の3Dメッシュ、限定的なオブジェクト追跡機能などカメラを通した映像そのものではなく、ワンクッション挟まれた間接的なデータのみが提供されていました。
サポートページによると、APIの解放により開発者は下記のような活用が可能になるとのこと。
1. オブジェクト認識：開発者は、実際の環境内の特定オブジェクトを認識して使用するアプリを作成できます。例えば、物理的なゲームピースやボードを組み込んだデジタルボードゲームなどです。
2. 位置認識：開発者は、カメラ映像が示すユーザーの現在位置に応じて異なる応答をする体験を制作できます。例えば、屋内や屋外、有名なランドマークや特定のタイプの部屋などです。
3. 機械学習の応用：開発者は、リアルタイムのカメラフィードからのデータに対してカスタムされた機械学習モデルを実行できます。これは、テクスチャの再作成/シェーディング、ヘッドセットを着用していない参加者が参加するゲーム、人物や動物の検出、あらゆる産業やトレーニングのユースケースに使用できます。
ヘッドセットへのアクセス権限が与えられたアプリは関連するメタデータも受信可能となるようです。メタデータにはカメラの焦点距離、主点、画像のサイズ、デバイスの中心に対するカメラの位置が含まれます。
また留意すべき事項として「カメラデータにアクセスできるのはフォアグラウンドアプリ1つのみで、アプリを最小化または閉じると、カメラデータは提供されなくなる」とのこと。開発者にとっては待望の機能であり、続報に期待したいところです。
Mogura VRはUploadVRのパートナーメディアです。
