Meta Reality Labs Researchは、屋内環境における3D物体検出モデル「Boxer」を公開しました。2D画像上の物体検出結果を、3D方向付きのバウンディングボックス（OBB）へ変換する技術です。モデルとデータはGitHubおよびHuggingFaceで公開されています。
（左）オープンワールド検出器で2Dバウンディングボックス（2DBB）を検出。
（中央）BoxerNetを使用して2DBBを持ち上げ、3DBBとして追跡。
（右）追跡された3DBBの3Dビュー。
「Boxer」は3段階の処理パイプラインで動作します。まず、オープンボキャブラリー対応の2D検出器「OWLv2」が、テキストプロンプトや手動入力をもとに各フレームの物体を検出します。
次に「BoxerNet」が検出結果を受け取り、カメラの内部パラメータ・重力方向・半密深度情報（入力はオプション）をもとに3Dのバウンディングボックスへ変換します。
最後に、複数フレームの検出結果をオフライン処理またはオンライントラッキングで統合し、シーン全体として一貫性のある3D検出結果を出力します。
対応データソースはProject Aria（Gen 1・2）、CA-1M、SUN-RGBD、ScanNetの4種類です。各ソースには画像・カメラパラメータ・重力方向の情報が必要です。動画シーケンスでは、6DoFのカメラ姿勢を用いた複数フレームの統合にも対応しています。
インタラクティブデモも提供されており、画面上に2Dバウンディングボックスを描くと、リアルタイムで3D変換結果を確認できます。テキスト入力でOWLv2に物体を検出させることもできます。
