5月6日、バーチャルシンガーsomuniaさんの実施したスペシャルミニライブ“liminal”に注目です。このライブにはネット上での様々な仕掛けやバーチャル関連の技術が活用され、驚くべき演出のライブとなっています。
このライブはSomuniaさんの新たな姿（Ver.2.0）のお披露目も兼ねたミニライブで、謎解き的な仕掛けの用意された特設サイトや、意味深なSNS投稿などの事前に用意され、サプライズ的な内容となっていました。
YouTubeチャンネルでの配信が開始すると、複数の監視カメラ映像が映り込み、そこにはこれまでのsomuniaさんの姿が。その後、旧式のWindowsPCのような画面が映し出されたかと思えば、追加パッチ「somunia ver 2.0」の更新を促すメッセージが表示。その後、こまれでの姿から刷新されたsomuniaさんが登場しました。
注目すべきは、somuniaさんの立っている舞台です。映像を見る限りでは渋谷に実在する老舗のクラブハウス「Club Asia（クラブエイジア）」そのもの。一部を映像として切り取って表示しているわけではなく、クラブの空間全体が映し出されています。バーチャルシンガーが現実の舞台に立って音楽ライブを行うというMR（Mixed Reality）的なライブとなっていました。
ライブの合間には、監視カメラ映像のようなアングルの映像も差し込まれ、somuniaさんの顔部分が粗く映し出されるという演出や、空間全体が光の粒子のように変容していくといった変化も。somuniaという存在が現実にまで飛び出してきたのか、あるいは「Club Asia」がバーチャル空間に飲み込まれたのか、境界の曖昧な世界の中で、somuniaさんは1人滔々（とうとう）と歌い上げていました。
もちろん、これまでにもVTuberやバーチャルシンガーのMR技術を活用した音楽ライブという事例は複数ありますが、ライブ前後の様々な仕掛けや演出、舞台を成立させた技術（※詳細は後述）など、様々な要素を含めると、かなり特殊な形態のバーチャルライブと言えます。MoguraVR編集部では、この音楽ライブがどのような技術で成立したのかを、ライブ制作陣の、ふにゃさん、YORIMIYAさんにお聞きしました。
※下記では、VTuberの舞台裏となる技術的な話が含まれます。
「somunia Ver.2.0 Update Team(ふにゃ,YORIMIYA)」インタビュー
――今回のライブでは実在するクラブ「club asia」が利用され、いわゆるMRライブ的なかたちで、VTuberとの合成がはかられていました。技術的には、現実のクラブを3Dスキャンし、バーチャル空間上に再現したかたちでしょうか？
はい。その形です。今回、会場提供にご協力いただいていますClub Asia様にお願いして現地の3Dスキャンを行いました。そのデータを使用してバーチャル空間を構築し、各種演出を実装しています（YORIMIYA）。
――会場の3Dデータは非常にクオリティの高いものでしたが、フォトグラメトリ、もしくは「Gaussian Splatting」などの技術を使ってスキャンされたものでしょうか？
（※Gaussian Splatting：複数の写真から3Dシーンを再現する技術。複雑な3D環境を「ガウス関数」で表現することから呼称されている。フォトグラメトリ以上に容量が軽量で、高品質な3Dデータ再構築が可能）
はい、本番ライブで使用した会場の3Dデータは、基本的にGaussian Splattingを用いて構成しています。
この技術をバーチャル音楽ライブのステージ背景として活用するのは、調べた限り過去前例のない試みだったため、表現や実装面でいくつか技術的な課題がありました。そのバックアッププランとして既存のフォトグラメトリやLiDARスキャンを含む複数の関連技術の検証も並行して実施しテストしています。
最終的にはLiDARスキャンのデータは原寸大スケール調整の基準として活用し、フォトグラメトリ作成時の点群データを空間演出要素の一部として取り入れています。
また、Gaussian Splatting自体の品質確保にかなり注力して会場の3Dデータを作っています。詳細なワークフローは割愛しますが、ミラーレスカメラを用いて撮影した約1,500枚の画像データを使用し、NVIDIAのGPU “RTX A6000”を用いて数十時間機械学習を行い作成しました。その後、リアルタイムでレンダリングできるようにパフォーマンスの調整をしています。
作成したGaussian Splattingデータをより扱いやすくするためにレンダリングソフト側で変換/調整を行い、空間演出の自由度を高める対応も行っています。結果として、somuniaを中心に円形に広がるようなエフェクトをステージに重ねたり、GaussianSplatthingが徐々に点群に書き換えられたりする演出を実装できました。このあたりは今回のライブのために新規で機能開発しています（YORIMIYA）。
――その他に今回のバーチャルライブ中に活用している技術や仕掛け、特殊演出などがありましたら、お聞かせいただけますと幸いです。
今回のライブのために、特設ウェブサイト（https://admin.somunia.net/）を制作し、ライブの1週間前から公開しました。
ウェブサイト上ではギミックや謎解き要素が散りばめてあり、謎を解くことでこれまでのsomuniaの活動を振り返る記録を閲覧する事が可能です。
また、ライブ本編内にはウェブサイトと連動した演出を組み込んでおり、視聴者が本番までにウェブサイト上で行ったアクションが演出の一部となる仕組みです。視聴者がsomuniaのアップデートに参加する事を目指して企画、開発をしました。
本編中では、営業終了後のClub Asiaを乗っ取り、somuniaが出現するような演出に仕上げるため、防犯カメラのような固定された視点を1つ作っています。
顔認識のようなイメージで、頭部分に四角い枠をフレームレートを落とした状態で追加したり、上からJPEG圧縮のようなフィルターを追加し、わざと画質をガビガビにする事でリアルな質感を目指しました（ふにゃ）。
――取材のご協力ありがとうございました。
