にじさんじの「リアルタイムARライブ」舞台裏では何が起こっていたのか？

鈴木氏：

どのように表現するかは迷うところですが……久しぶりに世界を変えるようなイベントができたという感覚はありましたね。2019年に幕張で開催した「にじさんじ Music Festival ~Powered by DMM music~」や両国の「Virtual to LIVE in 両国国技館 2019」の時のような達成感です。

鈴木氏：

きっかけは2020年12月の「マジカルミライ」ですね。ステージ左右のサービスモニターでAR演出が行われていて、この形式なら現地参加でもAR演出が見れるんだと衝撃を受けました。それまでの私は、イベント現地で体験できない表現の開発に対して懐疑的だったんです。その解決策を目の前で見てしまったのでかなり興奮してしまい…（笑）。会場退出後すぐに社内の技術部門に連絡し、「技術的には自分たちのシステムでも可能なはずだから、検証してみてほしい」と声をかけました。しばらくして、現状の機材でできることや問題点が浮かび上がってきて。関係各所に調整や工夫をお願いしつつ、あのとき見た表現を自分たちでできるのか？という実証実験としてやったのが「にじさんじ Anniversary Festival 2021(にじさんじフェス)」でのAR表現でした。

鈴木氏：

「にじさんじフェス」の出演者やファンの方々の反応からはかなりの手応えを感じ、本格的に構想をスタートした形です。先に述べたとおり、ARを使ったライブの表現に懐疑的な部分もあったのですが、今振り返ると嘘のようです(笑)。

鈴木氏：

まさしくその通りですね。「会場でもAR演出が人々を盛り上げられる」ことを確信したのはあの瞬間でした。

鈴木氏：

確か「にじさんじフェス」本番1日目の深夜だったと思います。2日目に向けたリハーサルでずっと根を詰めていたのですが、自分含めスタッフ全員さすがに疲れが見えていて……ポジティブな気持ちを保つために、休憩がてら、「今後やりたい、なにか楽しいことを考えよう」っていう時間があったんです。そこで「センターステージでライブをやったら面白いんじゃないか？」というアイディアが降ってきました。私たちは今までエンドステージ、つまり一方向からのみ観覧できるステージ形式でライブをやってきたのですが、全方向から見れるセンターステージでのライブを実現できないだろうか、という話になったんです。外部のテクニカルチーム、社内の開発エンジニア、3Dディレクター、イベントディレクターがその場に全員いる状態だったので、みんなで実現可能性について話し合っていたら、こうやったらいけそうだと仮説が浮かび上がってきて。「じゃあ、次はそれに挑戦しよう！」と(笑)。

鈴木氏：

正直に言うと、かなり大変でした。技術的な懸念はずっと頭の片隅にあったので、テクニカルチームと実現可能性について細部を詰めるところからのスタートでしたし、その後も課題の連続でした。そもそもエンドステージのフルARライブすらやったことがなかったので「よりハードルの高いセンターステージの公演を初回に挑戦する」ということ自体が、かなり高いレベルの挑戦だったんです。

大変だったことの一例を挙げると、今回新たに開発したライブシステムは、実際の環境でどうなるかの検証が本番1ヶ月前まで実施できなかったんです。もちろん社内環境での検証は終わっていましたが、1ヶ月前に本番と同じ環境での試験を実施したところ、概ねうまくいったもののフレームレートが著しく低下するバグが発生してしまって。その後社内に持ち帰ってさまざまな検証をしたんですが、全く再現できず……「ハードウェア側の問題の可能性がある」とのことで、本番1週間前に当日と近いハードウェア構成や環境で検証することになりました。

鈴木氏：

その日の検証ではバグの再現ができ、機材交換で問題が解消することが判明したので、これで大丈夫だろうとホッとしました。ところが本番前日、検証時と同じ構成にしていたにも関わらず再度バグが発生してしまって……。明確な原因はわからなかったものの、夕方頃に機材構成をまた別のものに変更したことによって問題が解消されました。正直、21時頃までに修正できなければ全部中止にしようと思っていました。

鈴木氏：

テクニカルチームがなんとか頑張ってくれたおかげですね。今だからこそ冷静に話せますが、本当に間一髪のところでした。

――お話を聞いていると「本当に中止にならずに良かった」と思います。

鈴木氏：

もちろん、関係各社には事前に「実現が難しくなるかもしれない」とは話していました。大々的に打ち出している以上、中途半端な出来では絶対に出せません。そんな状態で実施してしまえば、周囲からは「あそこは中途半端なことをするところなんだな」という目で見られてしまいますし、見に来てくれる方々にも申し訳が立ちません。中止にすれば大きな赤字が生まれてしまうのですが、それを覚悟の上で挑戦しようと。タレントもさることながら、本当に、今回は社内の技術チームとイベントのテクニカルチームが全力で頑張ってくれました。

鈴木氏：

前日の深夜まで、照明セクションや映像・カメラセクション、3Dセクションのメンバーと3Dのルックやそれに沿った各種演出について議論を細かいところまで重ねていきました。その結果、前日のリハーサルで確認したときよりも、ライブ本番の方が圧倒的にクオリティが高かったんですよ。各セクションのスタッフが、たった一晩でできる限りのことを詰め込んでくれていたんです。あれは本当にありがたかったです。

鈴木氏：

改めて振り返ると、全員がイベント成功に向けて同じ目標に向かっていける体制を作れたことが非常に大きかったと思っています。思い描いていた「これがこのイベントの“理想形”だ！」といったビジョンを、イベント前の早い段階で社内外のイベント関係者がしっかりと共通認識として持てるよう、時間をかなり使いました。その結果、この短期間であのクオリティのものを無事開催できたのだと思います。

現在の現場スタッフは両国の頃から関わってくださっている方が多いのですが、この2年間、現場経験とその前後の議論を積み重ねるうちに、「弊社が考えるより良い“VTuberのライブ”とは何か」について、かなり具体的なイメージを持っています。ひとえに、厳しいハードルを超えられるようなメンバーが集まってくれたおかげだと思っていますし、みんなより良くするためのアイデアを提案してきてくれるので、本当に信頼しています。

北脇氏：

正直、当日の出来上がりは想像以上でした。関わった皆さんでギリギリまで粘ったかいがあって、自社ライブのクオリティとして階段を2段ぐらい登ることができたと感じています。まだまだ今の映像作品としてはやらねばならないことはたくさんありますが、少なくともクオリティを上げる価値を示せたのではないかと思います。

門谷氏：

ARライブは初めての挑戦ばかりだったので、やはり何よりも「無事開催できてほっとした」……というのが一番最初にきました（笑）。多くの人があの日にできる限り、最大限のパフォーマンスをしてくださったおかげで、想像よりもさらに良いものに仕上がり、SNSやコメントからも褒めていただいて。良いものとして届けられたんだな、という実感がバッと後から来ました。

坂間氏：

これからの「バーチャル」に関する技術の未来や可能性、そして夢を皆さんにお届けできたのではないかと思います。実のところスケジュール的にはなかなか厳しいものがあり、しっかりとしたものが出せるのか不安はありました。しかし関係者の皆さんの不断の努力、そして綿密な連携によって、最終的には「バーチャルの技術は今ここまで来ているんだ」というところの、全力をお見せできたのかな、と。

北脇氏：

「にじさんじフェス」の日に出たアイディアでは、その時点でも舞台照明との連携とAR表現を使えば実現可能ではありました。ただ「舞台照明をどう連携するか」「AR表現でカメラをどう扱うか」については細かく話していなかったこともあり、私はもう少し小さな変化を予想していたんですね。

本格的に対応しないといけないと気が付いたのは、センターステージの図面に200個近い照明が配置されていたのを見た時でした。門谷さんと「思ってたより大変なことになったなあ」と話したのを覚えています（笑）。そのとき想定していたイメージだと、200個近いライトを違和感なく現実の風景と合わせる手段はなかったんですね。結果として、2ヶ月以内でライティングの仕組みから考え直すことになりました。

門谷氏：

ARを使ったステージ演出は見たことがありますし、「にじさんじフェス」で簡易的なARもやっていたので、個人的にはライブのイメージ自体はそこまでかけ離れてはいませんでした。一方で自分の想像する限りでもメインの絵作りに耐えるような機能、そして自分自身の経験値が明らかに足りてないものが複数あったので、「ムリじゃないだろうけど、大変になるだろうな」とはうっすら思っていました（笑）。描画システムに想定以上に手を入れるなど、クオリティを上げるためにやることがたくさんあって焦っていたことは覚えています。

坂間氏：

最初に「ARライブ」とだけ聞いたときは「これまでのライブと比べて、そこまで大きな違いはなさそうだ」と考えていました。しかし具体的なアイデアを聞くにつれ、これまで一般に行われてきたAR表現から一歩踏み出した、挑戦的な内容であることに気づきました。あの時、自分の中で面白いものやこれまで見たことがないものへの期待が高まったことを覚えています。

北脇氏：

いろいろありましたが、「特に」となるとならやはり直前です。一例として、設営段階では、安定した絵作りのため、人物にはくっきりした影が入らない設定になっていました。ただ、これは照明スタッフさんがコントロールできる範囲を狭めてしまうことにもなります。例えば人物の後ろから強い光を当てて、シルエットだけが見えるような演出をすることは難しい状態だったんですね。3Dアートディレクターさんからすると「安定した絵作り」を実現したい一方で、照明スタッフさんからするとより「幅広い演出」も求めたい、という状態でした。

これについては設営当日、3Dアートディレクターさんと照明スタッフさんが直接話し、影がしっかり入るような設定に切り替えました。照明スタッフさんが3D表現への理解も熱意もあり、アートディレクターも「任せて大丈夫だ」と判断してくれたんですね。その後本番当日まで、何度も繰り返し照明スタッフさん側で調整していただいたこともあり、直前のリハーサルと比較してクオリティが驚くほど上がりました。これほどクオリティが高くなるのなら、外部との連携をもっと早くしていれば、さらにより良いものを追求できたかもしれない……という反省は次回に生かしたいですね。

坂間氏：

やはり何よりも本番ですね。今回は照明やカメラなど、機材もソフトも多種多様なものを連携させた複雑なシステムを構築しています。したがって理論上動くはずでも、ライブ会場で実際にテストしなければ本当に正しく動くかわからない状態で開発していた期間が長かったんです。本番の環境において想定外のトラブルが発生しても、可能な限りリカバリーが効くよう準備していたのですが、そういった要素がきちんと嚙み合い、ライブ当日はスタッフの誰もが想像していなかったほどの素晴らしいものになったことは印象深いです。

門谷氏：

大きく分けると2つありますね。1つ目は北脇さんも指摘されていましたが、リハーサルのタイミングまでずっと調整していた3Dモデルの描画に関わるシステムの調整です。今回のライブはANYCOLORのシステム上で、3D空間に現実の照明と同じセットを再現したものを組んでいるのですが、それを3Dモデルにうまく作用させるのは計算量的にも絵作り的にも厳しく、ある程度は妥協する必要がありました。このシステムに照明スタッフさんが操作したデータがどのように入るかを元に、ANYCOLORの絵作りとして守らないといけない部分を守りつつ、良い表現を本番でやるための仕組みを構築していく……といった形になります。

この部分を実際に検証するための時間が本当に限られていて、うまい形に落ち着けるまでが大変でした。リハーサル時、本番と同じ環境を作った状態でメンバーを集め、問題点を洗い出し、その場で取るべき選択肢を話し合い、ギリギリの時間で「これで行こう！」と決めた時の気持ちは忘れられません。本番でパーフェクトな舞台、照明、演出をやってくださったことであれだけのパフォーマンスになったと強く実感しています。

もうひとつは鈴木さんも話していた、映像関連で壁にぶち当たったことです。今回のようなイベントでは、普段の配信と比較して数倍複雑なシステム構成になるため、問題の切り分けや再現性の確保には非常に苦労しました。そもそもAR用に十分な画質の映像を大量に導出することも、そしてそれだけのものを受けた上で現実のカメラと合成処理することも非常に珍しいんです。それゆえか、なかなか踏み抜かないエッジケースにぶつかってしまう形となりました。お互いのシステムが単独で動いている限りは問題なく、繋いでみると一定の確率で問題が起きる……といった状態なので、解決の手段を探すのが難儀でした。

この問題のために新たに検証日をどうにか確保してもらい、外部の協力会社の方々の尽力に加え、ANYCOLORのインフラエンジニアなどを巻き込んで総出で問題解決に挑み、一旦は解決したものの本番前日にまた問題を引き当ててしまい……どうにか直前にシステムを組み替えていただくことで、本番環境で安定稼働できる状態になった時はホッとしました。

北脇氏：

自分の範囲で言うと、照明演出との連携部分でしょうか。7種類の特性の違うムービングライトを、合計200個近く正しく人物に反映させる必要がありました。これは詰め切れなかった部分でもあるのですが、同じ操作信号でもライトの種類ごとに色味や強さが違ったりして、細かな調整が必要になるんです。ここは照明スタッフさんからもらった仕様情報やサンプルの動画を見ながら微調整を繰り返しました。

また、素直に作ってしまうとイラスト調のトゥーンで描かれている人物にリアルな陰影が乗ってしまうので、イラスト調への変換もしっかりやりました。結果としてやったことは「それぞれ人物ごとに向いているライトの情報を、一つにまとめてからイラスト調にならして乗せる」という素直な対応ではありますが、それを3Dアートディレクターさんや照明スタッフさんがうまく扱ってくれた形になります。

門谷氏：

システム側で大きく手を入れたものとしては、「照明のキャラクターへの影響」「現実のカメラと連動する3D空間のカメラ」「ARと馴染ませるためのキャラとポストプロダクションの調整」の3軸が大きな部分ですね。これらを含めて「どんな画に辿り着くか」について、序盤から方向性を共有しておけたおかげで大きくブレずに進行できたと思っています。

坂間氏：

自分の担当範囲の中では、現実の映像と3DCG等の、画面上の位置をいかに正確に合わせられるかに重きを置いていました。照明演出などの効果がどれだけ綺麗に効いていても、人物の位置が画面上で浮いていれば大きな違和感を生んでしまうため、可能な限り厳密な処理を行って位置が合うように調整していきました。リアルタイムに位置・角度・画角・レンズ歪みなどが変化するカメラに合わせて描画を行うのは難しく、スケジュール的にもかなり綱渡りなところがありましたが、カメラ関係のスタッフの皆さんと連携し、最終的に非常に自由度の高い表現を行うことができました。

北脇氏：

最初に“降りてきた”アイディアを現実的なところに落とし込めていたことは大きいです。これまでのライブと最終的な出力の間の差分は大きいものの、一つひとつの差分は手の届く範囲でした。そして何より関わった人全員が、本番のそのときまでクオリティを諦めなかったことが理由だと思います。

坂間氏：

今まで見たことがないものへのワクワク感、そしてそこから生まれる挑戦的な姿勢が、スタッフ全体の雰囲気として共有できていたことではないでしょうか。面白そうなアイデアがあれば皆で協力して実現し、また良いものを作るうえで付きまとうリスクを恐れず、各々が自分にできる仕事、自分にできる表現のもう一歩先に挑戦したことで、今回のライブを素晴らしいものにできたのだと思います。

門谷氏：

自分たちは技術側の人間なので多く技術周りのことを話してきましたが、今回の成功は社内外のイベントチームや鈴木さんの協力を抜きには語れないと思います。明確に乗り越えないといけない課題がある中で、直前まで開催できるか胃が痛かったとは思うのですが、それでも信じて技術チームに任せてくれたことは進める上で非常に助かりましたし、感謝してもしきれないです。

その前提の上で、あのクオリティを出せたのは、当日それぞれのメンバーが最大級のパフォーマンスをしてくださったことによる結果だと思っています。イベントは本当に様々なプロフェッショナルが互いの分野をまっとうする事で成立しています。直前まで未確定だった変数は、本番のそれぞれの尽力により想像よりもさらに上振れして、取ったリスクもよっぽど大きなリターンとして帰ってきました。そして、もちろんそれらのプロ達に恥じないような仕事をANYCOLOR側のARライブに関わったメンバーもそれぞれ成し遂げてくれたからこそ、ギリギリな部分もあった中であれだけの結果を残せたのではないかと思っています。

北脇氏：

ライブでないところでもそうなんですが、見た人を驚かせるように、そしていま観てない人も惹きつけられるようにしたいです。まずはにじさんじを、タレントのみなさんを好きな方に観てもらい、そして普段観てないような人にも「ぜひ観るべき」と勧められるようなイベントやライブづくりができたらと思っています。

門谷氏：

今回は初めてだったこともあってギリギリな橋も渡りましたが、「しっかり固めるところは固めて安定してこなせるように」というのはまずやらないといけないところですね。その上で今回明らかになった問題点や改善点などはクリアしていきつつ、もっともっとできることを増やしていかないといけないな……とは強く感じています。

坂間氏：

「バーチャル」につきものである様々な違和感や問題を解決しつつ、バーチャルでしかできない面白い表現、自由度の高い表現を目指していき、魔法のような新体験を提供して、皆さんの住んでいる世界をもっと広げていきたいと思っています。