4月14日、NVIDIAの研究チームは、大規模な3Dワールドを生成・探索するフレームワーク「Lyra 2.0」を発表しました。論文はarXivにて公開されています。
Lyra 2.0は、カメラの動きを制御しながら空間を歩き回るような映像を生成し、フィードフォワード再構成技術（※誤差を事前予測して制御や信号を再構築する手法）で3Dシーンへ変換するフレームワークです。映像生成モデルの表現力と、リアルタイムレンダリングやシミュレーションに対応した3D出力を組み合わせた構成になっています。
大規模な環境の生成には、従来手法が抱える2つの課題がありました。ひとつは「空間的忘却」です。過去に生成した領域がモデルの参照範囲から外れると、再訪時に構造が不正確になります。もうひとつは「時間的ドリフト」で、逐次生成の過程で誤差が積み重なり、シーンの外観や形状が徐々に崩れていく問題です。
Lyra 2.0はこれらに対処するため、2つのアプローチを採用しています。フレームごとの3Dジオメトリ（形状）を保持して過去フレームの参照に活用する手法と、意図的に劣化させた履歴データで学習させ、ドリフトの修正能力を高める手法です。
生成されたシーンは、インタラクティブなGUIを通じて探索できます。カメラの軌跡を設定することで、既存領域への再訪や未探索エリアへの移動が行えます。生成シーンはガウシアン・スプラッティングやメッシュ形式でエクスポートでき、物理エンジンへの読み込みにも対応しています。
NVIDIAのロボットシミュレーター「Isaac Sim」との連携デモも公開されており、ロボットのナビゲーションやインタラクションへの応用例が示されています。
論文・コード・デモは、プロジェクトページおよびGitHub、Hugging Faceにて公開中です。
Today, we released Lyra 2.0, a framework for generating persistent, explorable 3D worlds at scale, from NVIDIA Research.
Generating large-scale, complex environments is difficult for AI models. Current models often “forget” what spaces look like and lose track of movement over… pic.twitter.com/l6oTNMl5mV
— NVIDIA AI Developer (@NVIDIAAIDev) April 15, 2026
参考
NVIDIA Research
Cornell University arXiv
