中国企業「4DV AI」が、ボリュメトリック動画のWebXRデモを公開しました。このデモは、約20台のカメラビューをもとに構成されており、スタンドアロン型VRヘッドセットやPC VRで体験できます。QuestやPico、Apple Vision Proなどに対応しており、ヘッドセットがない場合でもウェブブラウザで再生可能です。
4DV AIの技術は「ガウシアンスプラッティング(Gaussian splatting)」と呼ばれる手法を用いています。これは、色付きの点（Gaussian）を3D空間に数千単位で配置し、現実的な視点変化をレンダリングする技術です。視点を変えても自然に見える動画表現を実現しています。
海外メディアUploadVRによれば、4DV AIのボリュメトリック動画は既存の3Dスキャンプラットフォーム「Gracia」のボリュメトリック動画と比較して、30倍高速とされています。Graciaでは1フレームの学習に6分かかりましたが、4DV AIは同時間で1秒分の動画を処理できるとしています。
Graciaは、被写体の周囲に多数のカメラを球状に設置する高価なスタジオを必要とし、背景を排除して撮影する手法です。一方、4DV AIは被写体の正面から全体を捉える設計で、一般的なカメラを約20台使用します。これは簡易な撮影手法とは言えませんが、映像制作の専門知識があればセットアップ可能な水準とされています。
データ効率にも特徴があります。1秒あたりのデータ容量は約12.5メガバイトで、理論上は100Mbpsのインターネット接続があれば、実時間で再生可能な水準です。
このWebXRデモでは、180度の3D動画に加え、頭の動きに応じた自由な視点変更（6DoF）も可能です。ユーザーは視点を寄せて周囲をのぞき込むような体験ができ、映像が頭に固定されている従来型のイマーシブ動画と比べて表現力が向上しています。
ただし、カメラが重なる中央領域から外れると、映像のブレやノイズが目立ちやすい点が目立ちます。それでも、のぞき込む動作が可能になった点は大きな進歩とされています。
デモには、10秒間の動画クリップが8本と、いくつかの静止シーンが含まれています。なお、使用するデバイスによって描画性能に差があり、Apple Vision ProやPC VRでは比較的スムーズに再生できる一方、Quest 3では表示に乱れや大きなパフォーマンス問題が確認されました。
4DV AIの公式サイトのTOPページにアクセスすると複数のデモを体験することができます。
Mogura VRはUploadVRのパートナーメディアです。
