9月1日、World Labsはワールドモデル「Atlas」を発表しました。Atlasが扱うのはテキスト、画像、映像、3Dデータです。空間の生成、実在する場所の再現、時間経過を含むシミュレーションまでを1つのモデルで担います。提供は一部のパートナー向けのアーリーアクセスから始まりました。
※ワールドモデルとは、空間の見え方や変化の仕方を学習し、映像や3Dとして出力するAIを指します。
カメラ制御による生成では、1枚から6枚の参照画像をもとに、指定した位置と角度から見た映像を作れます。出力は最大1分、解像度は1440pまで対応。カメラの動きを文章で指示するのではなく、カメラの位置情報そのものを入力として受け取ります。参照画像に写っていない範囲は、モデルが持つ知識をもとに描き足されます。
実在する空間の再構成にも利用可能です。撮影した画像を入力すると、その空間を立体的に再現します。入力は1枚から数十枚まで幅があり、枚数が増えるほど推測で補う範囲は狭まります。同社によれば、2〜3枚でも再現性の高い結果が得られるとのこと。出力は映像だけではありません。点群や3Dガウシアン・スプラッティングとしても取り出せます。この形式は同社のMarbleと共通です。
映像を使ったシミュレーションにも対応します。3台から5台のカメラ映像があれば、時間を止めて別の角度から見せる演出を作れます。撮影に使ったのは三脚などに固定したスマートフォンとアクションカメラだけとのことです。
ロボット向けの用途も示されました。スマートフォンで撮影した24フレームの映像から空間を再現します。そのうえで、ロボットの車体カメラに映る映像と奥行きのデータを生成します。物体の位置や照明、背景を変えた状況も作れるため、学習用のデータとしても使えます。
テキストから画像や360度パノラマを生成する機能も備えます。カメラ制御の生成と3D再構成の評価では、それぞれ専用に開発された既存モデルを上回る結果が示されました。学習に使う計算量を増やすほど性能が上がる傾向も確認されており、同社は規模の拡大を続ける方針です。Atlasは今後、Marbleをはじめとする同社製品に組み込まれる予定です。
