テキスト・画像・動画から3D世界を創るAI「Marble」360度画像からの生成のすごさに注目

World Labsが11月12日に公開したマルチモーダルなワールドモデル「Marble」が注目を集めています。「Marble」は、画像や動画、テキスト、3Dレイアウトから3Dワールドを生成し、2Dと3Dの両方で編集できます。

Marbleはテキストや単一の360度画像から3Dワールドを生成できます。多様なシーンやスタイルに対応し、複数画像を使えば統一感のある3Dワールドを詳細に構築可能。実在の場所を写した写真や短い動画からもワールドを作成可能です。
3Dを直接扱う「Chisel」モードも備えています。ボックスなど簡単な形状で構造を置き、既存の3Dアセットも利用できます。構造は3Dシーンで決め、テキストで見た目を調整する方式で、生成の精度を高めます。

（プロンプトで編集指示を与えた際の比較）

MarbleにはAI編集ツールもあり、オブジェクト削除や領域の修正が可能です。入れ替えやスタイル変更、大きな構造の再構築にも対応します。選んだ領域を広げたり細部を足したりする「Expansion」機能も利用できます。複数のワールドを結合する「Composing」機能も搭載し、広い空間を構築できます。結合する位置を調整し、目的に応じたワールド作りが可能です。

生成した3Dワールドは多様な形式で出力できます。ガウシアンスプラットは半透明の粒子で構成された3D表現で、SparkとTHREE.jsを組み合わせたレンダラーで扱えます。三角メッシュとしての出力も可能で、物理用のコライダーメッシュや、高品質メッシュも利用できます。各形式は業界標準ツールと連携できます。

カメラ操作による動画出力も可能です。アーティファクトの除去や細部の追加ができ、煙や炎、水の流れといった動きを加えた映像も作れます。多様な入力から生成し、編集し、拡張し、出力まで行える点が特徴です。

World Labsは2024年初めに創業。AI研究者として知られるFei-Fei Li氏が立ち上げ、サンフランシスコに拠点を構えています。すでに2億3000万ドルの資金調達に成功しており、主な投資家には、Andreessen Horowitz、Intel Capital、AMD Venturesなどが名を連ねています。

「Marble」は、marble.worldlabs.aiでサインアップでき、すぐに利用を始められます。