7月29日に開催された音楽ライブ「バズリズム LIVE V 2023」。お笑いタレントのバカリズムさんがMCを務める音楽番組「バズリズム02」の恒例音楽イベントを、初のバーチャルライブとして実施。人気VTuberとリアルアーティストが共演したライブの様子はオンラインで配信されたほか、池袋HUMAXシネマズにてライブビューイングも行われました。
「星街すいせい × フジファブリック」「Mori Calliope × Creepy Nuts」といったスペシャルステージもあり、盛況のうちに幕を閉じました。
このバーチャルとリアルのコラボレーションライブを実現させたのが、キヤノン株式会社のボリュメトリックビデオ技術と、バルス株式会社のバーチャルライブ技術です。両者が持つ先進の映像技術が見事に融合したことで、実際にライブを見ていた人の中には、その映像の違和感のなさに驚いた人も多かったのではないでしょうか。
VTuberとリアルアーティストが並び立つスペシャルステージは、いったいどのような方法で実現されたのか。Moguliveでは今回、バズリズム LIVE V 2023でボリュメトリックビデオ技術を提供したキヤノン株式会社と、本イベントのライブシステムの開発・運用、バーチャルステージ制作を担当したバルス株式会社、両社の担当者にインタビューを実施。ライブの舞台裏や技術のこだわりについてお話をうかがいました。
スタジアムでのスポーツ中継にも活用！ わずか3秒で人の動きを3Dデータ化できる「ボリュメトリックビデオシステム」とは？
――そもそも、バズリズム LIVE V 2023で使われた「ボリュメトリックビデオシステム」とは、どのような技術なのでしょうか。
キヤノン担当者：
ボリュメトリックビデオシステムは、被写体の周囲に配置した複数のカメラで撮影を行い、撮影した画像から3次元データを生成するシステムです。撮影した画像を3次元データとして再構成することで、実際にはカメラのない遥か上空や、スポーツ競技を行うフィールドの中といった、自由な視点から映像を楽しむことができます。
また、弊社のシステムの強みとして、広大な空間をリアルタイムに扱えることが挙げられます。大きな動きを伴うスタジアムでのスポーツ中継にも対応できますし、複数の演者さんがいるスタジオを丸ごと同時に撮影することも可能です。
https://www.youtube.com/watch?v=yIJhiI3v0UY
――ボリュメトリックビデオシステムの活用事例としては、プロ野球の中継やアーティストの音楽ライブなどがあるとお聞きしました。ほかにこの技術を使った事例があれば教えてください。
キヤノン担当者：
スポーツにおける活用実績としては、国内サッカーやラグビーの国際大会、東京ドームでの野球の試合、アメリカのプロバスケ、ほかに少し変わったところでは競輪の事例もあります。
スタジオを使った事例としては、ライブ配信、ミュージックビデオ、CM、ドラマ、バラエティ番組、ファッションショー、講演会、技術指導向けの教材などですね。それと、このシステムではその空間にある物体も撮影してデータ化することができますが、基本的には「人」をキャプチャする技術であると認識いただければと思います。
https://www.youtube.com/watch?v=IxESvQBpGSU
――事例として挙げていただいたスポーツは、どれも激しい動きを伴うものですが、高速で動いている人も高い精度でデータ化できる、ということでしょうか。
キヤノン担当者：
もともとスポーツを想定して設計・実装されたシステムですので、速い動きには対応できますし、むしろ得意分野ですね。もちろん、スタジオで撮影する場合も速い動きを収めることができ、精度の高さには自信を持っています。
ただ、スポーツの「中継」にも対応できるリアルタイム性はこのシステムの特徴ですが、大量のカメラで撮影した映像を高速でデータ化して処理するには、ハードウェアもソフトウェアも自前で開発する必要がありました。弊社独自の技術で映像処理を行うことで、データが出力されるまでの遅延をわずか3秒に収めることができています。
――この技術の実用化にこぎつけるまでには、どのような苦労がありましたか？
キヤノン担当者：
「リアルタイムに処理を行う」という部分もそうですが、実際に撮影をするにあたっては、ほかにもさまざまな課題を解決する必要がありました。
たとえばスポーツの場合、当初はゴール前などの注目されるエリアを集中的に撮影する形でカメラを配置する方向で検討していました。しかしそうすると、撮影する場所によって映像の質にばらつきが出てしまう。撮影現場となる空間が広くなればなるほど、場所ごとに品質に差が現れてしまうんです。
その差異をなくすためにカメラを増やすことも考えたのですが、そうするとコストがかさみますし、システムの構築も大変になってしまいます。そこで単に数を増やすのではなく、空間全体をカバーできる最適なカメラの配置にこだわり、綿密なシミュレーションを繰り返し行うことで、広い空間にも対応できるようにしました。つ
また、広い空間では遠くから被写体を撮影することになるため、設置したカメラそれぞれが撮影している位置を推定しながら処理を行わなければなりません。ですが、それだけでは不十分な場面もありまして……。主にスタジアムでの話なのですが、試合中に撮影をしていると、会場自体が揺れることがあるのです。揺れに関しては制振処理を施すことで対応できましたが、ほかにも現場ごとに解決するべき課題があったため、最初の頃は苦労しました。
https://www.youtube.com/watch?v=874tCRQgysg
――初めて撮影する場所に関しては事前調査が必要なわけですね。
キヤノン担当者：
初めて撮影を行うスタジアムに関しては、会場の設計データなどをまず調査をさせていただいたあとにカメラの配置を検討し、シミュレーションを行っています。
ただ、撮影のノウハウも年単位での取り組みによってたまってきているので、今は現地で何度も試し撮りをする必要はありません。小人数で調査に向かって、持ち帰ったデータで事前にシミュレーションを行い、万全の状態で本番撮影に臨むことができています。
念のため補足しますと、ボリュメトリックビデオシステムの開発は2016年頃から取り組んでいて、今お話させていただいたのは、これまでに解決してきた技術的な課題の話になります。なので、バルスさんと協力して撮影させていただいた今回の案件に関しても「事前の準備に時間がかかったわけではない」ということはお伝えしておければと思います。
――「スタジアム」と聞くと、かなり広い空間が想像されますが、具体的にはどのくらいの広さまで対応できるのでしょうか。
キヤノン担当者：
一番広いのは、ラグビー場やサッカー場のエリアですかね。縦幅100m、横幅75mの空間で、実際の会場としては日産スタジアムで撮影した実績があります。
――今回の「バズリズム LIVE V 2023」のような音楽ステージのケースと、スタジアムやアリーナで行われるスポーツとでは、撮影をするにあたって何か違いなどはあるのでしょうか。
キヤノン担当者：
基本的には同じシステムだと考えていただければと思います。ただ、被写体とカメラとの距離を考慮すると、広いスタジアムよりはスタジオ撮影のほうがより安定した品質で映像のアウトプットができると考えております。
それと今回のイベントでは、リアルのアーティストさんをバーチャル空間にお招きする際に、機材も一緒に撮影しました。これは演者さんの動きだけではなく、広いエリアを3Dデータとしてキャプチャできる弊社のシステムだからこそ実現できたことなのではないかと考えております。
（キヤノン川崎事業所内にあるボリュメトリックビデオスタジオ。周囲をグリーンバックに覆われた空間で、壁面と天井に無数のカメラが設置されている。この日は「バズリズム LIVE V 2023」のリハーサルを行うにあたってマイクやキーボードが持ち込まれていた）
――今後も応用の余地がありそうですね。すでにさまざまな分野での活用実績があるとのお話ですが、今後の展望をお聞かせください。
キヤノン担当者：
今回の事例もそうですが、こういったライブ映像を見たユーザーの方から次に出てくるご要望としては、「映像を自分の好きな方向から見たい」というものがあるのではないかと考えております。ですので、ボリュメトリックで撮った映像を、ユーザーの皆様がそれぞれ自身の端末から自由な視点で操作できるサービスの提供を目指して、現在は技術開発に取り組んでいます。
また、アプリケーションの観点では最近、ARやVRなどの仮想空間を利用したサービスも次々に出てきています。そのような仮想空間においても、ボリュメトリックビデオをうまく活用して、より多くのユーザーの皆様に楽しんでいただけるような試みができないかを探っている最中でございます。
VTuberのVR/ARライブでおなじみ バルスのモーションキャプチャーシステム
――続いて、VTuberに活用されるモーションキャプチャーシステムについてもお話をお聞かせください。
バルス担当者：
弊社では「VICON」と呼ばれる光学式のモーションキャプチャーのシステムを2018年から使用しています。普段は自社のスタジオで撮影することが多いのですが、今回はキヤノンさんのスタジオに弊社から機材の持ち込みをさせていただいて、設営をしております。
モーションキャプチャーは主にVTuberさん向けに提供しているのですが、弊社はモーションキャプチャーの技術会社というわけではありません。バーチャルライブをはじめとするイベントを、一から企画・制作・配信まで行う。それが弊社の主な取り組みとなっています。
一口に「バーチャルイベント」と言ってもイベントの内容や会場の条件はさまざまですので、ケースバイケースで最適な方法をご提案しております。たとえば、弊社のスタジオから会場にモーションを伝送してライブを行うこともあれば、現地にLEDのスクリーンや透過ディスプレイを持ち込んで、その場でモーションキャプチャーをすることもあります。手軽にできるファンミーティングみたいなイベントもありますね。
一言でまとめると、モーションキャプチャーシステムを利用して、バーチャルのライブをはじめとしたイベントを取り組んでいることになります。
https://www.youtube.com/watch?v=RoRTbaiZxKw
――自社スタジオでの収録が多いとのお話ですが、外部にモーションキャプチャーシステムを持ち出してのイベント制作は、事例として珍しいのでしょうか？
バルス担当者：
たとえば、ライブハウスで行われる音楽ライブの場合、弊社スタジオからモーションを伝送しようとすると、どうしても遅延が発生してしまいます。往復2秒程度の遅延ではあるものの、やはり現地に持ち込んでモーションキャプチャーをしたほうが、「生」の空気感を感じていただきやすいんですよね。
特に今回のような大規模なイベントで、しかも技術的な事情もある場合は、スタジオから伝送するわけにもいきません。遠隔ではリアルとバーチャルの連携が難しくなりますし、会話もワンテンポ遅れてしまいます。普段は「バーチャルライブのシステムだけを持ち込んで、モーションはスタジオから伝送する」という方法を採用することが多いのですが、「必要に応じてモーションキャプチャーシステムを持ち込んで、現地で設営ができるような仕組みもある」といった使い分けをしている感じですね。
（バズリズム LIVE V 2023のリハーサルのためにキヤノン川崎事業所内に設営された、バルスのモーションキャプチャーシステム。前述のボリュメトリックビデオスタジオと同じフロア内の一室を使用している）
――バルスで提供されているシステムは、VTuberファンにとっても身近なものではないかと思います。その一方で、今回のライブで導入されたボリュメトリックビデオ技術との組み合わせは、これまでに見られない特殊な事例であるように感じました。この試みはどのような経緯で生まれたのでしょうか？
バルス担当者：
実は「ボリュメトリックビデオ技術を使ったVTuberとリアルアーティストのコラボ」という企画それ自体は、私が社内で提案していたものでして。そのきっかけになったのが、2022年のVTuber業界で最先端のものとして行われていた、ARを使ったライブでした。
私もいち視聴者としてそのライブを見ていて、たしかにすごいことをやっているのはわかるのですが、同時に気にかかることもありました。それが、カメラワークの制限です。ARライブでは通常の音楽ライブほど自由にカメラを動かすことができず、特定の画角からしかステージや会場を映せません。そのため、ライブが長時間になればなるほど見飽きてしまうような印象があったんです。この「限られたカメラワークでしかライブを見せられない」ことが、ARライブの課題だと感じました。
そこで、「カメラワークの制限をどうにかして無くせないか」と社内で相談するなかで行き着いたのが、ボリュメトリックビデオ技術でした。この技術を使えば、カメラワークの制限がない空間で、VTuberとリアルアーティストのコラボレーションが実現できるのではないか――。そのような考えから企画を発足させて、やがてキヤノン様とお話をさせていただく機会に繋がった、というところです。
――「カメラワークの制限」というのは、ライブ映像としてリアルとバーチャルを合成する際に、それぞれの画角が異なると違和感が生まれるため、常に同じ角度でカメラを動かす必要があり、そのために発生する映像表現上の制限――といった認識でよろしいでしょうか。
バルス担当者：
そうですね。補足させていただきますと、VTuberとリアルアーティストが共演するARライブについては、弊社でも以前から取り組んでいました。
そこで採用していたのが「実写のカメラの画角とバーチャルのカメラの画角を合わせる」という手法だったのですが、スタジオの広さやカメラの台数など物理的な制約によって限られた画角からの表現しかできなかったり、映像を重ねる順番が固定化されてしまうので奥行きがうまく表現できなかったりと、いろいろな制約が生まれてしまう問題がありました。
また、ボリュメトリックビデオ技術を使った音楽ライブに関しても、ちょうどいくつかの事例が話題になっている時期ではありました。ただ、VTuberが出演している事例はまだなかったので、弊社でも取り組めたらと考えまして。もともとは自主企画として始まったものだったのですが、それが少しずつ話が変わってきて、今回のような形で実現することになりました。
――今回のイベント以前から着想自体はあったわけですね。それを「バズリズム LIVE V 2023」で導入するに至るには、どのような経緯があったのでしょうか？
バルス担当者：
この技術のみではライブを完成させることはできないので、キャスティングやライブ演出、プロモーションといった総合的なコンテンツ制作力に強みをもつ日テレClaNさんに相談させていただきました。そこで「こういったイベントを夏に企画しているのですが、いかがでしょう？」とご提案をいただきまして、お互いに合意に至った形でございます。
遅延の問題、ステージ上の違和感、カメラワークの制限――個々の課題を解決するための工夫とアイデア
――それぞれの技術についてお話いただいたところで、「バズリズム LIVE V 2023」でのバーチャルとリアルのコラボレーションは、どのように実現されたのか。また、その過程でどのような工夫をされているのかをお聞かせください。
バルス担当者：
このリアルとバーチャルのコラボレーションを実現するまでには、たくさんの課題がありました。
特に大きなものとしては、やはり「違和感」の問題ですね。リアルアーティストとVTuberを同じ空間に登場させるにあたっては、お互いが違和感のない、ステージ上に馴染む姿でなければなりません。異なる存在が同じ場所に並んで立ったときに、見え方にストレスを感じさせない状態を作り出す必要があったわけです。この課題に関しては、主に「照明」と「特殊効果（スモーク）」の2つのアプローチから挑戦しました。
照明は、リアル側とVTuber側に異なるライティングをすることでお互いの存在を近づけるアプローチを行いました。スモークを焚くことにより、空間全体の奥行き感を表現し、それがVTuberとリアルアーティストを同じ空間に存在するように感じることができました。
もう一点、コミュニケーションも課題でした。先ほどもお話がありましたが、リアル側とバーチャル側で発生するラグ――遅延の問題ですね。「映像では同じ空間に立っているのに、演者同士の会話にラグがある」という状態では視聴者からしても違和感があります。このようなコミュニケーション上のラグの問題に関しては、「遅延値を合わせる」という方法で対応しています。
最後に、先ほどのカメラワークのお話ですね。ボリュメトリックビデオ技術を活用することで、ARライブにありがちなカメラの画角の制限を無くして、飽きさせないカメラワークを実現しています。今回のイベントにおける課題とそれを解決するための工夫としては、大きく分けてこの3点があるかなと思います。
――特に「遅延」の問題に関しては、これまでの多くのバーチャルライブでも、運用側が苦心しているポイントだという認識がありました。「遅延値を合わせる」というお話がありましたが、詳しくうかがってもよろしいでしょうか。
バルス担当者：
前提として「3秒で3次元データが生成される」というキヤノンさんのボリュメトリックビデオシステムがそもそもとんでもない技術なのですが、それでも「3秒」という時間は、人間のコミュニケーションにおいてはネックになる長さだと思うんです。
では、その遅延を解消するために何をしたのか。一言で言うと、「3秒遅れでレンダリングして作られたボリュメトリック世界の時間」と「演者さんが実際にパフォーマンスをする時間」を、分けて考えることにしました。
まず、リアルとバーチャルの演者さんには、リアルタイムで合成された定点映像を、それぞれの目の前に設置されたモニター上で見ていただきます。キヤノン様のボリュメトリックビデオスタジオにはグリーンバックが引いてありますので、そこのカメラで撮った映像と、バーチャル側の映像を合成し、モニターに出力する形ですね。映し出されているのはステージを正面から撮っただけの定点映像ではありますが、こちらはボリュメトリックのシステムを使わないシンプルな「リアルタイムの合成映像」ですので、リアルのアーティストさんとVTuberさんは遅延なしでお互いの位置を確認しながらコミュニケーションができます。
バルス担当者：
演者さんたちにはその映像を見ながらパフォーマンスをしていただきつつ、それとは別に、映像の作り込みも同時進行で行います。こちらの映像は、ボリュメトリックで出力されたデータをバーチャル空間のステージ上にレンダリングしているため、カメラワークも自由自在の「ライブ映像」として作り込むことができます。
整理すると、まず「リアルとバーチャルの演者さんが同じステージに立っているリアルタイム合成の定点映像」を用意することで、演者さんにはストレスなくコミュニケーションとパフォーマンスをしていただく。と同時に、「3秒後に出力されるボリュメトリックのデータを使ったライブ映像」も並行して作っていく。このような切り分けをすることによって、演者さんの自然なコミュニケーションと、違和感のないステージ、自由自在なカメラワークによる臨場感あるライブ映像を一挙に実現しています。
――こちらが想像していた以上に大変な調整が行われていたわけですね。
バルス担当者：
本番の映像を見ると「リアルタイムで音楽ライブをやっているだけ」と映るかもしれませんが、実は裏ではこのようなことをしていました。
ある意味では「リアルタイムで動いているスタジオ」と「全員が3秒後の世界で動いているスタジオ」の2つがある、と捉えてもいいかもしれません。そのような感覚でオペレーションを行うことによって、このリアルとバーチャルのコラボステージをなんとか実現していたわけですね。
当初は遅延を合わせるにあたって、「システム的には問題なく同期ができるんじゃないか」と希望的観測で進めていたのですが、実際にやってみると、遅延の計算の考え方などがお互いに違っていたりして難しい部分が出てきました。そこは、弊社のエンジニアとキヤノンさんのエンジニアの方を中心に、かなり細かく擦り合わせをやらせていただきました。諸々の調整をすべて挙げるとキリがありませんが、おそらく一番時間がかかっているのは、リアルのアーティストさんの動きをボリュメトリックで再現してバーチャルライブ空間でVTuberの方と一緒にパフォーマンスできるようにする調整だったと思います。
キヤノン担当者：
「リアルタイムに映像を出す」という部分では、バルスさんにもだいぶご苦労があったのではないでしょうか。バルスさん側で軽量化するための工夫もしていただきつつ、キヤノン側でもリアルタイムに処理するための工夫をする。最終的にそれらを組み合わせるところが非常に大変でしたね。
バルス担当者：
そもそもお互いの持っているシステムやスタジオが異なりますので、1つのシステムに結合するために、時間をかけて諸々の擦り合わせを行う必要がありました。システムの考え方はそれぞれに違う部分もあるため、システム的に合わせたい部分を確認しつつ調整させていただきました。
リアルとバーチャルのアーティストが「当たり前のように一緒にいる」と感じてもらうことが、ライブ体験としての「成功」
――ここまでのお話で、リアルとバーチャルの自然なコラボを実現するために、本当に時間をかけて試行錯誤されてきたことが伝わってきました。実際に今回のライブ制作に取り組んでみて、手応えはありましたか？
バルス担当者：
「リアルタイムに喋っている様子が、本当に絵として出てくる」という合わせができたのはよかったです。今までのライブでハードルの高かった、様々な課題に一つ一つ挑戦したことによって、リアルアーティストとVTuberが並び立つ映像を、同じ時間軸の絵として出力できた。リアルとバーチャルのコラボステージを違和感のない形で実現できたのは、今回のイベントで得られた大きな達成であると感じております。
キヤノン担当者：
今回のライブで、バーチャルな世界の自由な表現と、現実世界のリアルな表現を融合させて、より幅広い演出ができるようになりました。リアルのアーティストさんとVTuberさんによるパフォーマンスももちろんですが、それぞれのごく自然なコミュニケーションを実現できた、そして、今まであまり見たことのない映像をお届けできたライブになったと思っています。
――バーチャルライブといえば、バルスさんにとっては普段から取り組まれている分野のコンテンツではありますが、今回のキヤノンさんとの共同制作したことで、改めて実感したことはありますか？
バルス担当者：
ボリュメトリックビデオ技術によって、「リアルのアーティストが3Dの姿でバーチャル空間に登場できるようになった」ことはやはり大きいですね。これによって、今までVTuberさんに施してきた、いわゆる「バーチャルならではの演出」――例えば、人のスケールを大きく変えるといったことを、リアルのアーティストさんにも施せるようになりました。
VTuberファンにとっては見慣れた表現であっても、それをリアルのアーティストさんに施せば、また違った見え方になります。弊社がVTuberさん向けに施してきた表現や、そこで培ってきた経験を、リアルのアーティストさんが行うバーチャルライブにも活用することで、新しい演出として見てもらえるかもしれない。3Dの姿だからこそ可能な、制限のない演出や表現が新たにできたらいいなと思います。
――これからライブをアーカイブでチェックする方や、このインタビューのお話を読んで、改めてライブ映像を確認したくなった方もいるかもしれません。「バズリズム LIVE V 2023」のステージを見るにあたっての、注目すべき点などはありますか？
バルス担当者：
逆に「あまりに自然すぎてわからない」と感じていただけたらいいなと思います。リアルのアーティストさんとVTuberさんが本当に一緒にそこにいるように見えて、言われなければ違和感に気づかない。どんな方向からカメラが回り込んでも、違和感なく、本当にそこにいるように感じられる。リアルとバーチャルのアーティストが「当たり前のように一緒にいる」と感じていただくことが、ライブ体験としての「成功」かなと。「そこにいるように見える」のではなく、「本当に同じ空間にいるんだ」と感じていただけたら嬉しく思います。
バズリズム LIVE V 2023
- 公式サイト：https://buzzrhythm-live-v.clan-ntv.jp/
- SPWN：https://v-clan.spwn.jp/events/23072901-buzzrhythmlivev
（※9月1日23:59までタイムシフト視聴可能）
