Decartは7月16日、ライブAI動画編集システムLucy 2.5を発表しました。同システムは30FPS、1080p解像度でリアルタイムに映像を生成し、低遅延での配信を可能にします。あらかじめ収録した映像を使わず、動きや光の変化に応じて毎フレームを生成する仕組みです。
Lucy 2.5では、配信中の映像に対してキャラクターや衣装の入れ替え、背景や環境全体の変換、被写体の除去などを、テキストプロンプトや参照画像を用いてその場で編集できます。編集の指示は大まかな内容から細かい指定まで段階的に与えられ、色や大きさ、位置といった詳細も調整可能です。
水や炎、砂、粘性のある液体といった要素も、周囲の環境と自然に相互作用するよう改善されました。街並みをネオン風の世界観に変えるといった、画面全体の雰囲気を変える編集にも対応しています。被写体を入れ替える際は、元の空間の陰影や接地点を踏まえて新しい要素が違和感なく配置されます。こうした汎用性の高さは、画像編集を動画全体に反映させる専用モデルと、大量の合成学習データを組み合わせて実現されました。
新たに導入されたセルフアンカリングという技術では、生成した映像自体を新しい参照点として扱います。これにより、被写体が画面外に出て再び映っても、編集内容が崩れず維持されます。従来のモデルで課題となっていた、時間経過に伴う誤差の蓄積を抑える狙いがあります。
推論の高速化にも取り組んでいます。低精度の量子化処理や、演算の重複を省くスパースアテンションといった技術を組み合わせることで、処理速度を高めながら生成品質を保っています。
Decartは、この技術がコマースでの試着体験や、広告のパーソナライズ、配信者と視聴者の双方向的なやり取り、ゲームといった分野で活用できるとしています。
