2026年8月13日、NVIDIA Omniverseの公式YouTubeチャンネルで、ヒューマノイドロボットの訓練環境をテーマにしたライブ配信が実施されました。登壇したのはNiantic Spatialのユージン・チョン氏、Flexionのジュリアン・ヌバート氏、NVIDIAのガブリエル・ステート氏の3名です。司会はNVIDIAのエドマール氏が務めました。配信内では、実空間をスキャンして訓練環境を作り、そこで学習させた行動モデルを実機で動かすまでの流れが示されました。
出発点となるのがNiantic Spatialの現実再構成パイプラインです。1回の撮影からガウシアン・スプラッティングとメッシュを同じ座標系で同時に出力するという方式です。前者はロボットが見る映像、後者は衝突判定を推計します。多くの再構成手法は見た目の再現だけを最適化するため、空中に浮かぶ粒子や床の穴が残りがちです。チョン氏は、これらがシミュレーションでは存在しない障害物や落下地点として現れると説明しました。Niantic Spatialでは、独自の深度モデルで形状を拘束することで、この問題を抑えたといいます。
リアル環境を使ったのがFlexionです。同社はスイス・チューリッヒのオフィスを、市販の360度カメラで10分ほど撮影し、500ドルほどの費用でリアル空間を取り入れました。出力されたUSDZファイルはIsaac Simにそのまま読み込み。従来は見た目の差が大きく、映像を直接使う訓練は難しい領域でしたが、Isaac Lab上で、RGB画像を入力とするナビゲーションの行動モデルを強化学習で訓練したとのことです。
訓練した行動モデルは、追加学習なしでロボット実機に移されました。机の位置がスキャン時と変わった状態でも、ロボットは3つの経由地点を順にたどります。深度センサーでは薄くしか映らない机の天板も避け、透明な板や細い三脚など、訓練に含めていない対象にも反応したといいます。
NVIDIAは今後、この基盤を拡張するとしています。ステート氏によると、Isaac Sim 5.1では映像を重ねる方式のため影や反射に制約がありました。しかし、Isaac Sim 6とIsaac Lab 3ではレイトレーシングを用い、金属や透明の物体、ガウシアン上に落ちる影まで扱えるとしています。
1時間に及ぶライブ配信の本編はこちら
