World LabsとHTCが展開するバーチャルプロダクション「VIVE Mars」は、新しいAIワールドビルダーを共同発表しました。リアルタイム映像制作のシーン作成を簡単にし、専門知識がない人でも扱える点が特徴です。画像や短い文章を入力するだけで作業を始められ、実写合成まで短時間で完了します
World Labsは空間知能の分野を手がける企業で、3Dの世界を認識し生成する基盤モデルを構築しています。最初の製品となるAIワールドビルダー「Marble」は、単一の画像や短い文章から詳細なバーチャル空間を自動生成します。生成には「AI Gaussian Splatting」という技術が使われており、従来の3Dモデル作成や複雑な照明設定の手間を省くことができます。
VIVE Marsは、HTCが展開するバーチャルプロダクションのためのシステムです。VRヘッドセットHTC VIVEシリーズの機材を応用して、費用対効果の高いトラッキングを実現しています。Marbleで生成した環境は、VIVE Marsの新ソフトウェア「VIVE Mars Nova」で利用可能です。VIVE Mars NovaはMarbleが出力する軽いPLY形式のデータに対応します。VIVE Mars CamTrackとも連携し、リアルタイムのカメラ追跡が可能です。ユーザーは生成したデータを読み込み、カメラを接続し、グリーンバックの映像を背景と合成できます。
この統合システムでは高度な3Dツールやゲームエンジンの深い知識、Unreal Engineやプログラミングの経験も不要となります。思い描いた内容を短時間で、実写と仮想背景を合わせた映像を手軽に作れることから、クリエイターは短い工程で表現の幅を広げられるとしています。
https://x.com/htcvive/status/1991227476480258088?s=20
参考
もぐら関連記事
