VTuberグループ「にじさんじ」は、バーチャルライブやバラエティ企画などで様々な表現を発表し、多くのファンを驚かせています。とくに2021年下半期は「“LIGHT UP TONES”」を超え、さらなる表現に挑もうとする企画が次々に送り出されてきました。
前回のインタビューに続き、MoguLiveはANYCOLOR株式会社の国内VTuber事業統括プロデューサー、鈴木貴都氏を交えた上で、同社の3Dディレクター、古藤惠司氏、3Dソフトウェア開発チームの北脇氏にインタビュー。激動の「にじさんじ」を支えてきた、技術的なこだわりを語っていただきました。
「違和感なく楽しめる」を目指して
――2021年のにじさんじのイベントの中でも、特に大きな反響を呼んだのは「“LIGHT UP TONES”」かと思います。あのライブ以後、ARライブ方面で技術的な進展はありましたか？
- 古藤：
- 会場現地とオンライン配信の両方を見比べないと気付かない点なのですが……。リアルライブを開催する際、配信側では一部でライバーをAR表示させています。その際、何も処理をせずに実施するとARと（現地用の）LEDモニターでライバーが二重に表示されてしまいます。そこで、現地ステージのLEDモニターに映っているライバーの姿を、配信映像側でのみ映さないような処理を行っています。
- 鈴木：
- 例えば、「月ノ美兎は箱の中（※）」のこのカットですね。奥に見えるのがLEDモニターで、会場ではこのモニターに月ノ（美兎）さんが映っています。しかし、配信側の映像では、ステージ上にARで彼女が立っていて、本来モニター部分に映っている姿は映らないようにしています。
※「月ノ美兎は箱の中」：2021年11月16日に開催された、月ノ美兎1stワンマンライブ。
――（映像を見ながら）たしかに……！
- 古藤：
- ちなみに、単純に上から黒で塗りつぶしているだけではなくて、LEDモニターに映るVJ映像や背景映像から、ライバーの3Dモデルだけを映さない形で表示しています。
- 鈴木：
- これは複雑な話なのですが……現地で目視できるLEDパネルは当然現実のライトの影響を受けるため特に処理をしていない一方、配信に乗せるAR映像ならびにバーチャル空間映像ではソフトウェア側でLEDパネルにライティングの影響を受ける処理を加えており、現地のライティングに応じて色味が変わるようになってます。一方でライバーは現地側の映像でもライティングの影響を受けているように見せるなど、要素ごとにかなり細かく調整を入れています。
――これも言われてはじめて気づくポイントですね。しかし調整の有無でステージの印象が大きく異なってきてしまうところでもあると。
- 古藤：
- 大変でしたよね。どうしても（会場）全体の明るさやライトの色味の影響度の調整とかは、現地に行かないと最終調整ができなかったじゃないですか。
- 北脇：
- そうですね。現場の環境と、実際に使っているカメラの設定でどのぐらいの光量を受け付けるかで、表示の仕方が全然変わってくるので。毎回ライブ前日深夜まで喧々諤々（けんけんがくがく）の議論を……。
- 鈴木：
- 深夜3時くらいまでやってますね（笑）。言われなければ誰も気づかないと思うのですが、我々としては「違和感なく楽しめる」というのを目指したかったんですよね。普通のアーティストさんのライブを楽しむ際は、そこまで細かなところまで気にしないじゃないですか。なので「気づかなかった」と言ってもらえるのは正解なんですけど……。古藤も北脇もがんばってくれてるので、そこはぜひアピールしたいですね！
――ちなみにこうした技術発展は、スタッフの人員が増えたことが影響しているのでしょうか？
- 鈴木：
- 「月ノ美兎は箱の中」までは、（3Dソフトウェア開発の）スタッフって増えてないですよね？
- 北脇：
- 増えていないですね。やっていることはARライブ（※「“LIGHT UP TONES”」）からの応用です。これは今後やりたいことにも繋がるのですが、ステージの空気の感じや光の抜け方など、現場の状況から集められる情報がさらにあるはずで、それらを得た上で表現できるようになれば、ライブはもっとリアルになるはずなんです。そこまで実現できて初めて「技術的に発展した」と、胸を張って言える……と思っています。まだまだやりたいことはいっぱいありますし、そのために人員を増やしているところはありますね。
ライバーとの二人三脚で生まれる新技術
――直近では「二重跳び企画（※）」や「NJU歌謡祭2021（※）」といった企画が話題になりました。とりわけ「二重跳び企画」は、オブジェクトのトラッキング的にも挑戦的な動画だったかと思います。こうした各種企画はどのようなフローで実現しているのでしょうか？
※二重跳び企画：2022年1月3日に公開された動画企画「#にじなわとび 第一回にじさんじなわとび大会」。3Dモデルを持つライバーたちが二重跳びに挑戦し、その回数を競った。
※NJU歌謡祭2021：2021年の大晦日に開催された、58名のライバーが総出演した歌謡祭。
- 古藤：
- 基本的には、ライバー側から「こういうことできないか」という提案があり、「ちょっと研究してみないとわからないですね……」と言いながら、裏でスタッフたちと研究に入ります。提案いただいてから1〜2ヶ月経って「できました！」という報告をすると、そこから「二重跳び企画」や「ローションカーリング（※）」といった企画が立ちますね。
※ローションカーリング：2021年7月10日に公開された動画企画「【漢の企画】第一回にじさんじローションカーリング選手権」。舞元啓介さんら男性ライバーが、ローションの敷かれたレーンの上を自ら滑り、止まった位置で点数を競い合った。
――ライバー発案の企画から技術的な知見が積み重なっていくことになるわけですね。
- 古藤：
- ものすごく無茶な提案も多いんですけど、「いや……なんとか……なんとかやってやる！」と、スタッフの熱意で実現させていますね。先ほどの「二重跳び企画」は、そもそも「縄跳びをトラッキングする」という事例を今まで見たことがなかったので、既存の縄跳びではなく、「3Dトラッキングに適した縄跳びはなにか？」から検討をはじめましたね。
また、スタジオで利用する道具は自作しているものも多いですね。どうしても現物を見ないと企画に適しているかどうかはわからないので、よくスタッフたちでコーナン（ホームセンター）に向かうこともあります。
――とても地道な努力の結果「ローションカーリング」や「二重跳び」が生まれているわけですね。
- 古藤：
- 「ローションカーリング」も力技な部分が多かったですね。スタッフで検証したのですが、安全面を考慮しつつ、機材も守りつつ、でもちゃんと滑るように……と考えていくと、両立がすごく難しいところです。足の裏になにをつければ、そこそこ滑りつつ、機材もタレントさんも守れるのかと研究を重ねて……「これだ！」という組み合わせが見つかった時には歓声が上がりましたね（笑）。いい大人がスタジオでローション使って滑っていたんですけど、僕たちは真剣でしたね。
- 北脇：
- アプリケーション開発の立場から見ても、「二重跳び企画」や「ローションカーリング」はスタジオの人たちの努力が伝わってきましたね。「NJU歌謡祭2021」などでは、撮影にアプリケーションを使ってもらっていたのですが、アプリケーション側で実現できていることを増やすと、スタジオの人たちがうまいこと使ってくれてるのがうれしいですし、楽しいですね。
- 古藤：
- 最近では、3D配信に手持ちのバーチャルカメラが入るようになりました。このカメラにはリアルのカメラと同じように、ズーム機能や手ブレ補正機能などが搭載されていて、これがものすごく重宝しています。
――「にじ3D（※）」も定期的にアップデートが行われていると思うのですが、これらも今後さらに発展していくのでしょうか？
※にじ3D：にじさんじライバーが在宅で3Dモデル配信を実施する時に使用するアプリケーション。
- 北脇：
- 「にじ3D」は開発チームの人手が不足していたこともあり、今は運用期間という扱いです。ただ人員が増えてきたことで、3D表現技法の改善など「近いうちに手を入れたいね」という話をかなりしています。
「にじ3D」は長いこと改修が止まっていた一方で今後使う人は増えていくはずなので、モーションキャプチャのやりかたを増やすなど、アップデートはしていきたいですね。
「ライバーがこの姿で生きている」を見せるために
――昨今ではVRプラットフォームを利用したVTuberの活動もよく見られるようになりました。そんな中で、にじさんじではARを利用した企画やサービスなどが多く登場している印象です。そこには何かしらの戦略があるのでしょうか？
- 鈴木：
- 我々は「現実にライバーがこの姿で存在している」とみなさんに感じてもらうことを大事にしています。なのでリアルライブで等身大で映したり、ARなどに取り組んだり、ライバーを現実世界へ押し出す方向での施策を考えています。
- 古藤：
- ARで「そこにいる」と感じてもらえるようなこだわりが一つありまして「実際に存在する段差に干渉できる※」という事例があります。ライバーが実際に段差を登れるし、段差の下に隠れることができます。ARってコストを安くするならば、現実にないものを合成したりするんですけど、それだと「そこにいる」感が薄れてしまうので。
（※通常、カメラの映像の手前に3Dモデルのレイヤーを乗せることでARは実現されるが、単純な上乗せをするだけでは、ライバーが背景の段差よりも上のレイヤーになってしまう影響で「ライバーが段差に隠れる」という動作が実現できない。そのため、ANYCOLOR社では「実際に段差に干渉」できるような技術の実装を行っている。こういった点が「ライバーがそこにいる」と感じられるこだわりのポイントだ）
（上記の画像では、きぐるみの頭部に注目だ。一般的なARライブでは床面をバーチャルオブジェクトに置き換える手法がよく取られているが、それではステージがきぐるみの頭を貫通して、頭部が切れたように見えてしまう。しかしANYCOLOR社で開発しているAR表現は床をバーチャルオブジェクトとして生成せず、実際のステージ床面にライバーや背景映像演出を反射するような処理を施している。これによりキャラクターの存在感を際立たせるような特徴のある演出ができる）
- 古藤：
- また「月ノ美兎は箱の中」では、月ノさんから「UFOに見立てた風船を指差したい」という演出を提案されたのですが、「実際にAR上で現実にある風船を指差して、それをカメラで映す」といった工夫がありました。こういったARならではの演出はこちらからも積極的に提案させてもらっています。今後のライブでもそうした演出にはぜひ注目してほしいですね。
- 北脇：
- 葛葉さんのライブ（※）でも、ARで葛葉さんを映してから、そのカメラのまま客席を映す演出を実施しました。
※葛葉さんのライブ：「Kuzuha Birthday Event『Scarlet Invitation』」。2021年11月10日に開催された、葛葉さんのバースデーライブ。
- 鈴木：
- 客席とステージが近い会場でのARライブをやるのは我々も初めてだったので、ぜひその距離感と「ライバーがステージに立っている！」という感覚をみなさんに体験してほしいなと思い、入れ込んでもらいました。
――あのアングルには驚かされました。ただAR演出はこだわればこだわるほどに自然なものへとなっていき、技術自体の「すごさ」は伝わりにくいかと。その分、エンタメを純粋に楽しめるのですが。
- 鈴木：
- そうですね。なので、繰り返しになってしまいますが「（ライブを見ている間は）気づかれなくてもいい」と思っているんです。
――今後「にじさんじフェス 2022（※）」という大型企画が控えていますが、技術的なチャレンジはあるのでしょうか？
※にじさんじフェス 2022：2022年10月1日〜10月2日にかけて開催予定のイベント。幕張メッセにて、「にじさんじ Anniversary Festival 2021」中止企画も含めた、様々な企画が実施予定。
- 鈴木：
- 「にじさんじ Anniversary Festival 2021」で中止になってしまった企画のひとつ「バーチャルお化け屋敷『NIGHTMARE』」はさらにクオリティを上げていく予定です。そのためにお化け屋敷のプロデューサーを招いて「PG12」レベルの怖さを目指しています。ただ、グロテスクな表現は避けるつもりです。
- 北脇：
- 「FANTASIA」でお披露目する予定だったちょっとした演出についても、どこかの機会に披露したいと考えています。
- 鈴木：
- 「“LIGHT UP TONES”」は特に評判がよく「またやってほしい」という声をいただいているのですが、もう一回同じライブをしても仕方ないので、プラスアルファで付加価値を付けた上でお届けできればいいかなと思っています。
――最後に技術班のお二人から今後の意気込みや周囲へのメッセージなどあれば、お聞かせください。
- 古藤：
- 3Dトラッキングはまだまだ課題があるので、技術的な課題で苦労をかけている部分を無くしていきたいという思いがあります。それから「四足歩行」にも、そろそろ目を向けないといけないかな……と思っています。
――「四足歩行」ということは、つまり「あの方」が……？ 期待させていただきます。
- 北脇：
- また新たに対応することで表現の拡大ができる機材やソリューションのネタに困りつつある状態なので、もし他社の方で「うちの技術使ってください！」といったお声がけいただければ、ぜひご相談させていただきたいです。
- 鈴木：
- いっしょに仕事をしたいと思ってくださるパートナーさんがお声がけくださるとうれしいですね。あとは、弊社で働きたいという方もいらっしゃれば、ぜひ！
――ありがとうございました。
執筆：浅田カズラ
編集：ゆりいか
