Metaは、新しいAIモデル群「SAM 3D」を公開しました。手元の写真などの2D画像から立体構造を推定する技術で、物体を再現する「SAM 3D Objects」と人体を再現する「SAM 3D Body」で構成されます。Objectsは物体やシーンを3D化し、Bodyは人体のポーズと形状を推定し、どちらも静止画像から高精度な再構成が可能です。あわせて、試用向けの「Segment Anything Playground」も提供されました。
SAM 3D Objectsは、1枚の画像から物体の形状や質感、配置を再構成します。従来はデータ不足のため単純な背景の画像になることが多かったですが、その制約を突破。小型の物体や斜めの角度、隠れた部分にも対応します。生成した3Dシーンでは物体が個別に再現されているため、１つずつ操作できます。また、カメラ視点の変更も可能です。
SAM 3D Objectsは、さっそくFacebook Marketplaceの表示機能で使われているほか、ロボティクス向けの応用も想定されています。
SAM 3D Bodyは、1枚の画像から人体の姿勢と形状を再構成します。不自然な姿勢や隠れた状態、複数人物の場面にも対応。輪郭や関節位置を入力して調整できます。3Dメッシュ形式「Meta Momentum Human Rig」を採用。この形式は骨格と体の外形を分けて生成します。画像解析は複数入力で細部を捉えます。生成部は指示に応じた予測ができます。
学習には約800万枚の画像を使い、多様な姿勢や服装に対応します。MHRは商用利用が可能です。
SAM 3Dに合わせて、AIを駆使してメディア加工を体験できる新しいプラットフォーム「Segment Anything Playground」も公開されました。画像を読み込むだけで人物や物体の3D再構成を生成できます。ゲームや映像制作、ロボティクスなど幅広い用途を想定されており、SAM 3Dを手軽に試せる環境となっています。
MetaはSAM 3Dのモデルや学習データ、評価基準、推論コードを公開。現行モデルには制限があるとしています。出力の解像度に限りがあり、全身再構成では乱れが出ることがあります。物体配置についても改善の余地があり、物体同士の関係の推定や複数人物の処理も課題です。手の姿勢は専門手法に劣る場合があります。Metaは改善を進めつつ、活用の広がりを示しています。
https://x.com/AIatMeta/status/1991184188402237877
参考
もぐら関連記事
