にじさんじの新技術実証実験イベントの詳細が公開 VTuberライブに特化した独自のデータ圧縮技術を開発

1月8日（水）・9日（木）開催の「ANYCOLOR/にじさんじ新技術実証実験イベント ver.2025.01」にて利用された、リアルタイムMRライブシステムの詳細が公開されました。

本システムは、にじさんじを運営するANYCOLOR株式会社と株式会社stuが共同で開発したものです。従来のVTuberの音楽ライブのように会場のLEDモニターに映像を流すのではなく、ヘッドマウントディスプレイやスマートフォンを通じて、体験者自身の視点でリアルタイムにライブを鑑賞できます。

リアルタイムMRライブシステムの実現のため、VTuberライブ専用の伝送システムとMR合成システムの2つを新たに開発。VTuberライブに特化した独自のデータ圧縮技術によって、複数のヘッドセットやスマホに対して映像の遅延や同期ズレを最小限に抑えて伝送しつつ、キャラクターと会場の音・照明が連動した映像合成を行っています。合わせて、会場のネットワークインフラを再設計し、大量のデータを安定して伝送できるようになったとのこと。

これらにより、VTuber・司会者・観客がリアルタイムでコミュニケーションを取ることが可能となりました。さらに、音声はイヤホンではなく、通常のライブと同様に会場のスピーカーから出力する設計とし、より臨場感のあるライブ体験を実現しました。

MoguLiveのライブリポートでは、VTuberの加賀美ハヤトさんとMCの百花繚乱さんが同じ空間に立っているように見えるだけでなく、加賀美さんが人や物の前を通った時にもほとんど違和感なく見えていました。会場の照明も、モニターから逆光を受けて影が客席まで伸びているなど、よりリアルさを演出しています。