8月18日、Metaは開発者向けの新しいツール「Meta XR Operator」を公開しました。Meta XR SDK v205に実験的なコンポーネントとして含まれます。MCPに対応したAIエージェントが、Meta XR Simulatorで動作中のVRアプリを見て、操作できるようになります。（※MCP：AIツールと外部のシステムをつなぐための共通規格）
AIによるコーディング支援は、コードを読み書きしてテストを走らせる段階まで普及しました。一方、VR開発では検証の手前でつまずきが発生することも。エージェントがアプリの画面を確認できず、ボタンを押して動作を確かめる手段も持たないために起きてしまいます。Meta XR Operatorはこの課題を克服するために公開されました。
(Meta XR Operator を使用した開発ループ)
仕組みとしては、アプリとOpenXRランタイムの間に入り、XRの状態と入力の制御をMCP経由で外部に渡します。これにより、エージェントはスクリーンショットの取得、壁や床といった空間情報の読み取り、コントローラーの操作、Unityのシーン構造の確認、UIの操作を行えます。画面のデータはエージェントが求めたときだけ取得するため、フレームレートへの影響を抑えました。アプリ側のコードを書き換える必要もありません。
（部品の組み合わせについて）
想定される使い方は3つです。機能を少しずつ追加していく反復作業、不具合の再現から修正の確認までの一連の流れ、そして自然言語で書いた手順に沿ったテストの実行となります。
事前のテストにはBeat Gamesなどが参加しました。エージェントは人手を介さず、ビルドから検証までの工程を完了しています。Beat Saberのメニュー画面では、これまで自動テストが見逃していたUIの重なりによる不具合も検出しました。
そのうえで、現時点の制約も示されています。ハンドトラッキングは手ごとの照準のみを扱い、指単位のデータには対応しません。音声も扱えず、アニメーションの動きの評価もできないとのことです。動く対象や時間に左右される挙動より、静止した場面の検証に向くとしています。
Metaは今四半期中に、Unityのシーンをどう読み取って操作するかを掘り下げた続編の記事を公開する予定です。
