Metaは、テキストから3Dワールドを生成する研究段階のAIシステム「WorldGen」を発表しました。単一視点の生成ではなく、自由に移動することができる大規模な3D空間を構築します。最大50×50メートルの範囲で一貫したスタイルのワールドを生成でき、UnityやUnreal Engineへ直接読み込めます。Metaは、同社の運営するメタバース「Horizon Worlds」での利用はまだ準備段階としています。
WorldGenは2Dと3Dの複数技術を組み合わせて構成されています。プロシージャル生成、画像を使ったプランニング、拡散モデルによる3D再構成などを用い、一般的なゲームエンジンと互換性のあるTrimesh（ポリゴンメッシュの一種）を出力します。衝突検出やNPC移動に必要なナビメッシュも含み、シーンを分解するAutoPartGenにより編集しやすい環境を作れます。
WorldGenの生成工程は4段階です。Planningではレイアウト生成やナビメッシュ抽出、参照画像生成を行います。Reconstructionでは画像から3Dのベースモデルを構築し、DecompositionではAutoPartGenでオブジェクトを抽出。Refinementでは画像強調やテクスチャ処理を行い、整ったジオメトリと効率的な描画を持つワールドに仕上げます。
https://www.youtube.com/watch?v=ca4wyRd3HvM
なお、現時点でWorldGenで生成可能な範囲は50×50メートルに限られるとのこと。単一の参照ビューに依存するため規模に制限があり、数キロメートルにおよぶ広大なオープンワールドには対応しません。複数領域の結合では不自然なつながりが生じる可能性があります。多層環境や内外のシームレスな構造も扱えず、テクスチャや形状を再利用しないため、描画効率の面で不利になる場合もあります。
Metaは制限の解消に取り組んでおり、今後より大規模なワールドサイズに対応するなど大型アップデートを見込んでいます。
参考
Road to VR
UploadVR
Mogura VRはUploadVRとUploadVRのパートナーメディアです。
もぐら関連記事
