Home » VTuberをリアルに“存在”させる技術はここまで来た! にじさんじMR新技術実証実験で、加賀美ハヤト社長のトークとライブを体感


にじさんじ 2025.02.19

VTuberをリアルに“存在”させる技術はここまで来た! にじさんじMR新技術実証実験で、加賀美ハヤト社長のトークとライブを体感

このイベント、ファンには刺激が強すぎるのでは……!?

にじさんじライバーのファンを思わず心配せずにはいられないほどの、実在感を伴った超至近距離。ステージ上のライバーと「目が合った」と錯覚するほどの近さでパフォーマンスを見られる実証実験イベントが、東京都豊島区某所で行われました。

直前まで秘匿されていた「新技術」の実証実験イベントとは?

ANYCOLOR/にじさんじ 新技術実証実験イベント ver.2025.01」と題して、新技術の実証実験のために開催された本イベント。参加申し込みができたのはにじさんじ総合ファンクラブの加入者のみで、具体的な内容は当日まで報道陣にも伏せられていました。

事前告知からうかがい知れた情報としては、以下の4点のみ。

  • にじさんじ所属ライバーの加賀美ハヤトさんが出演する
  • MCを百花繚乱さんが務める
  • ヘッドセットを使う
  • MR(Mixed Reality/複合現実)を用いた特別な体験ができる

具体的に何をするかの言及はないものの、ある程度は推測できる部分もあります。

キーワードは「MR」。現実世界にバーチャルの存在やオブジェクトを投影し融合させる、「複合現実」の技術です。現時点では、Meta Quest 3やPICO 4 Ultraなどのデバイスで実現されているもので、自分の部屋にバーチャルなキャラクターを召喚したり、大画面のYouTube画面を天井に貼り付けたりといった活用があります。

つまりこのイベントは、ヘッドセットを装着して映像を見ることで「加賀美さんと繚乱さんが同じ空間に立っているように見える」状態を作り出せる、MRトークイベントなのではないか。「もしかしたらライブも……?」という期待もありました。

結論から言えば、イベントの内容に関しては、ほとんど事前の想像の通り。

しかし同時に、いろいろと想定外のこともありました。イベントの内容や進行、ヘッドセットを通して見える景色は想像通りだったにもかかわらず、待ち受けていたのは、“想像”を大きく超えてくるイベント体験だったのです。

ステージ上で動き、喋り、歌って踊るライバーの姿を見る――。文章にして読むかぎりでは、既存のオンラインライブや現実世界の会場で行われるトークイベントと比べても、まったく違いはありません。ですが、「MR」という表現だからこそ感じられる、VR体験ともまたちょっと異なる「演者との近さ」が想像以上に刺激的で、「ファンがこんなの味わったらヤバいのでは!?」と、変な心配をしてしまうほどだったわけです。

加賀美社長が目の前に!VTuberが本当にそこに「いる」ように見えるイベント

1月8日と9日の2日間で、計5公演が開催された今回の実証実験。トークイベントとミニライブを組み合わせたイベント構成で、1公演およそ40〜50分ほどの尺だったようです。

来場者はそれぞれ指定の座席に着席し、開演時間になると、MCの百花繚乱さんが登場。前説と合わせて、HMD(Meta Quest 3)の装着方法を教わります。


すでに起動状態のヘッドセットを装着して、周囲の様子が見えていること、ステージ上に青いオブジェクトが浮かんでいることを確認できたら、準備完了。イベント中は装着したままで、観客側で何か操作をする必要はありません。ヘッドセット初体験の人でも気楽に楽しみやすそうな印象を受けました。

いよいよイベントがスタート! 繚乱さんに紹介されて、加賀美ハヤトさんが現れます。

舞台袖から、自然な様子で、歩いて登場した加賀美さんは、普段の配信やライブでもおなじみの姿(3Dモデル)――のはずなのですが、内心ではこう叫ばずにはいられませんでした。

――顔、小さくて良!!!!!!腕、なっが!!!!!!脚、なっが!!!!!!!

たしかに普段の配信で見慣れた「いつもの加賀美社長」の姿ではあるのですが、リアルな“空間”で見ると、不思議と受ける印象が異なっていました。彼の顔の小ささやスマートさが、より解像度高く感じられた、と言いましょうか。「モデルさんを間近で見ると、雑誌やテレビよりも顔が小さく見える」みたいな感覚に近いかもしれません。

同時に目を引いたのが、加賀美さんが人や物の前を通った時に、ほとんど違和感なく、自然に見えていたこと。

というのも、現実世界の空間上に「重ねる」ようにして映像や3Dモデルを表示するAR/MRコンテンツでは、現実のオブジェクトとバーチャルのオブジェクトとの「奥行き」の表現の有無が没入感を大きく左右します。

たとえば、リリース直後の『ポケモンGO』では、画面上に表示されるポケモンが「木や物陰に隠れる」ような表現ができず、そのまま物体の上に表示されてしまっていました。これでは見るからに奥行きが感じられず「画面上にただ表示している」ことがわかってしまうため、「そこにいる」という実在感をあまり感じられません。

(※『ポケモンGO』はのちにARブレンディング機能が実装され、この手の表現が可能となりました)

しかし、今回のイベントではそのようなことがほとんどなく、終始「加賀美社長がそこにいる」ように感じられていたのです。

特に筆者の場合、前後2列に並べられた座席の後ろ側に座っていたため、どうしても前の席の人の頭が視界に入り、加賀美さんの姿が遮られることがありました。この時、もし前の人の頭の手前に加賀美さんの姿が表示されてしまうと、「そこにいる」という実在感が削がれてしまいます。ですが、本イベントではそのような現象はなく、後半のライブパートも含めて「おやっ?」と違和感を覚える場面は一切ありませんでした。

前半のトークパートも、生身(という表現もおかしいかもしれませんが)の繚乱さんと横並びになっていても不自然ではなかったですし、「高身長(182cm)の男性」として常に自然に見えていたように思います。VTuberと生身の人間が同じ画面上に出演する企画やテレビ番組も今や珍しくありませんが、画面上で見るそれらよりも自然だと感じられるほどでした。

「テストパイロット」としての矜持とワクワク感が垣間見えたトークパート

イベントは鏡開きからスタート。ステージ中央に置かれた酒樽の後ろから加賀美さんが木槌を取り出し、繚乱さんと一緒に、「よいしょー!」の掛け声に合わせて樽を叩きます。

スタッフさんが酒樽をステージ裏へと下げたところで、壇上の2人は椅子に着席。繚乱さんの進行でトークパートが始まります。――なんてことのないように書いていますが、「バーチャルライバーである加賀美さんが木槌で樽を叩いている」「ステージ上の椅子に違和感なく座っている」という光景が実現していること自体が、冷静に考えてみるとすごいことです。

まずモニターに映し出されたのが、こちらのトークテーマ。「せっかくなのでお客さんに選んでもらいましょう」という流れになったのですが、たまたまそこで当てられたのが筆者でした。繚乱さんに促され、加賀美さんの視線を感じつつ、内心ちょっとドギマギしながら①を選びます。

2024年一番がんばった話」として加賀美さんが話してくれたのは、特に忙しかったある日の話。ミニ四駆の大会に出て、ろふまお塾の収録を行い、遊戯王の講師を務め、朝4:00入りでおはスタに出演し、帰宅後は遊戯王を教える配信に参加。その配信後、また遊戯王を教える別の配信があり、さらには配信外でも遊戯王を教える時間が合間合間にあったそうで、聞いていた繚乱さんから「メーカーの方ですか?」と突っ込まれていました。

遊戯王に関してはIdiosの名前を挙げつつ、「心に残るような大激戦をしてくれたりして、めちゃくちゃ嬉しかったですね」とも話すなど、加賀美さん自らも楽しみながら、大きな充実感を得られていたそう。繚乱さんも仰っていたように、遊びに全力であることが伝わってくるお話でした。

続いて、モニター上の選択肢から次のトークテーマを選ぶことになるかと思いきや、加賀美さんからの「せっかくなので」という提案で、挙手制で質問を募ることに。そこで会場から投げかけられたのが、「今回の実証実験への参加が決まったときに、どんなことを感じたのか、感想を聞いてみたいです」という質問でした。

それを受けた加賀美さんが「本当に率直な感想でいいですか?」と断りつつ口にしたのが、「ロボットアニメの新型機のテストパイロットになったんだ」という一言。

「ガンダムの機体で『NT-1アレックス』っていうのがいるんですけど(笑)。そのテストパイロットで、機体に振り回されまくったクリスチーナ・マッケンジーっていうキャラクターがいるんですけど、それの気分でした」

この回答に対する「ちょっとマニアックな記事になっちゃうので、もう少し噛み砕いたバージョンでもいただいていいですか!?」との繚乱さんのツッコミを受けて、首を傾けて思案しながら「ト、トールギス……?」と応える一幕も挟みつつ、「テストパイロットって、やっぱカッコいいですよね」と嬉しそうに語った加賀美さん。続けて、次のように話されていたのも印象的でした。

「選んでくれたんだ、という気持ちもあるし、今こうやってイベントをやってみて思ったのが――拘束時間および稼働諸々を考えると――わたくし以上の適任はいないかもしれない。わたくしでよかったな、という気持ちがありますね

年始に放送された「アベマでにじさんじ!新春SP」でも、2025年の目標として「この五体の全部でファンに恩返しをしていく」「エニカラおよびにじさんじのライバーさんに最大の利益をもたらしたいと思っている」と話していた加賀美さんですが、「実証実験」と題した本イベントは、まさにその“利益”をもたらすための施策と言えるはず。

ファンのことを想いつつ、プレイヤーとして全体を俯瞰する視野の広さも持ち合わせている。加賀美さんの魅力と持ち味が存分に発揮されたトークパートとなりました。

本当に「目が合った」と確信するほどの実在感

トークパートが終わると、そのままライブパートへ。繚乱さんに促されるままに立ち上がり、しばらく待っていると、すぐにライブが始まります。

ROF-MAOの「DiVE !N」に始まり、甲斐田晴さんの「透明な心臓が泣いていた」、そしてRain Dropsの「VOLTAGE」の3曲を立て続けに披露してくれました。

本記事の冒頭で「想像を大きく超えてくるイベント体験だった」と書きましたが、特に“想像を超えてきた”と感じられたのが、このライブパートです。過去に参加したVTuberのリアルライブはもちろん、推しの姿をさらに近くで見られるVRライブともまた少し違うライブ体験が、そこにはありました。

まず、会場のステージ上には歌う加賀美さんの姿が投影されており、ヘッドセットを通して見ることで、観客は彼がそこに「いる」と認識できる。ヘッドセットを外すとその姿は当然見えず、無人のステージで照明が明滅しているだけのように見えます。

ヘッドセットを装着した集団が無人のステージに向かって手を振っている様子は、傍目に見ればシュールに映るかもしれません。ですが、ここまでのトークパートで「いる」と認識していた我々としては、逆に「いない」光景のほうに違和感を覚えてしまうほどでした。


(イベント中、筆者はヘッドセットを装着しながら手元のカメラで写真を撮っていたのですが、このライブパートに至っては、「ヘッドセット越しには姿が見える加賀美社長の姿が、カメラのディスプレイには映っていない」ことのほうに、逆に違和感を覚えるレベルでした)

現実世界のステージで歌っている姿に違和感がない」という状態こそが、一番の驚愕ポイントかもしれません。本来はそこに存在しない3Dモデルをヘッドセットの画面上に投影し、その動きをリアルタイムで会場に映し出すとなると、動きがブレたり、浮いているように見えたり、あるいは逆に埋まっているように見えたりと、どこかに破綻が起きても不思議ではないからです。

ライブの最中は、加賀美さんも通常のライブのようにステージ上を激しく動き回っていましたし、ヘッドセットをつけている観客も、その一人ひとりが別の位置からステージを見ています。その中でも人一倍テンションが上がってしまった筆者は、普通のライブと同じ感覚で体を揺らし、手を振り回して楽しんでいたのですが、同期がズレるような場面は一度もありませんでした。

強いて言えば、ステージ前方に設置されているスピーカーに加賀美さんが足を乗せて歌う場面で、足元が若干浮いているように見えたことくらいでしょうか。とはいえ、足が埋まって見えてしまう可能性を考えると、逆に「ちょっと浮いているかも?」くらいのほうがまだ違和感は小さいはず。それよりも「そこに足を乗せられるんだ!?」という驚きのほうが大きかったこともあり、極端に気になるようなズレではなかったように思います。

加えて特筆すべきは、会場の照明です。

本来はステージ上に存在しないライバーの姿は、当然、リアル会場の照明の光を受けることはありません。にもかかわらず、歌いながら動き回る加賀美さんの体は照明に照らされて色が変わっているように見えましたし、背後のモニターがひときわ強く光るシーンでは、逆光を受けて、彼の影が客席まで伸びているのが見えていました。


(よくよく見てみると、リアルの会場の照明以外にも、バーチャルの照明がオブジェクトとしてステージに配置されていることがわかります。こちらも会場の照明と連動して明滅しているようでした)

おそらくは、この違和感のない「光」と「影」の表現が、3Dモデルの実在感に一役買っていたのでしょう。花道に伸びる影と、客席に向かって歩いてきて歌う加賀美さんの姿を目の当たりにしたことで、もう完全に「そこにいる」と脳が認識するに至りました。

普段はインターネット上で、画面越しに見ているVTuberが、本当に現実世界のステージに立っている。手を伸ばせば届きそうな距離で、観客である私たちに向けて、同じ空間から歌を届けようとしてくれている。「目が合った」と錯覚するほどの――いや、本当に目が合ったと確信するほどの実在性を持って、「加賀美ハヤト」がそこにいました。


(ライブで「人に遮られてステージが見えないことがある」のは当然ですし、それがストレスになる場合もありますが、今回のMRライブに関して言えば、「見えない」からこそ「本当にそこにいる」ように感じられて、その独特な感覚もちょっとおもしろかったです)

すべては「ライバーを現実世界に存在させる」ために

尺としては数十分ほどでしたが、想像を大きく上回った実証実験。「体験」としての密度が濃く、毎日のようにヘッドセットをかぶっている筆者ですら、「自分が普段使っているヘッドセットで、まだこんな体験ができるんだ……!」と感動してしまうほどのイベントでした。

他方で、VTuberとXR技術を掛け合わせた取り組みはほかにも数多くありますし、VTuberがリアルで接客販売を行う「未来V商店」など、MR活用それ自体は珍しいわけではありません。ですが、今回のような「大勢の観客が一緒に楽しめる、リアルタイムのトーク&ライブ」というスタイルでMRを活用したVTuberイベントは、過去にも例がないように思います。

では、MR技術を活用することによって、このイベントでは何を“実験”し、何を“実現”しようとしていたのか。ANYCOLOR社としては今後を見据えた複数の狙いがあると思いますが、ステージを見ていた筆者の目からは、何よりも「ライバーを現実世界に存在させる」ことに注力していたように映りました。

「複合現実」という表現が指し示すように、MRを使えば、現実のビルの影からゴジラを出現させたり、生身のパフォーマーの動きにバーチャルな演出を施したりと、リアルでは困難なさまざまな表現が実現できます。ところが今回のイベントでは、ライブパートも含め、そのような特別な演出は一切ありませんでした。

現実にはありえない表現で観客を驚かせたり、派手な演出でライブを彩ったりするのではなく、「ライバーを自然な姿で、違和感のない存在として、見ている観客たちと同じ空間に立たせる」ことに全振りしていたのではないか。「そこにいる」という生の実在感を味わってもらうために、バーチャルな演出はあえて排除したのではないか。そのように感じました。


(一点補足すると、今回のイベントは、MCの百花繚乱さんが果たした役割も大きかったように思います。ヘッドセットを装着している観客とは異なり、繚乱さんの目からは加賀美さんの姿が見えなかったはず。にもかかわらず、イベント中はずっと「普通のトークイベントのように、ステージ上で2人が視線を交えながら話している」ように見えていたからです。モニターなどで立ち位置を確認していたのかもしれませんが、「見えていない」ことを気づかせず、「そこにいる」と感じさせる目線の動きやトーク運びは、さすがの一言です)

振り返ってみれば、そもそも以前からANYCOLOR/にじさんじは、このような「ライバーを存在させる」ことに一貫して力を注いでいます。

たとえば、2021年の「にじさんじ AR STAGE “LIGHT UP TONES”」や、毎年の「にじさんじフェスティバル(にじフェス)」でのARコンテンツ。また、全国各地で展開した4周年記念広告について次のようにコメントしていたことからも、その一貫した姿勢が伝わるのではないでしょうか。

我々のVTuberに対する思想として「ライバーがこの姿で現実世界に存在するよう認知してもらいたい」というのがあって、その思想を上手く示せる広告とはなにかなと考えた時に出たのが「歩く広告」でした。

ライバーを等身大サイズで映して、道行く人たちに「この姿のまま、こう生きているんですよ」と示すことができたと思っています。
「にじさんじ」苦境の中での挑戦と拡大 事業統括プロデューサーが舞台裏を語る – MoguLiveより)

我々は「現実にライバーがこの姿で存在している」とみなさんに感じてもらうことを大事にしています。なのでリアルライブで等身大で映したり、ARなどに取り組んだり、ライバーを現実世界へ押し出す方向での施策を考えています。
「気づかれないところに熱量を込める」ANYCOLOR技術班が語るバーチャルライブへのこだわり – MoguLiveより)

このような過去の取り組みと姿勢を考慮すると、今回のイベントも、おそらくはその延長線上にあることがわかります。

ARライブがあり、記念広告があり、にじフェスのプラネタリウムやお化け屋敷といったアトラクションがあり、現実世界でロケを行う動画企画があり――それらを経て、「ライバーを現実世界に存在させる」新たな方法として行われた、MR技術を活用した実証実験。

今回は加賀美さんがその“テストパイロット”としての務めを果たしていましたが、「この技術を使って、ほかにどんなことができるだろう?」と考えてみると……。

シスター・クレアさんに、懺悔室で話を聞いてもらえるかもしれない。
花畑チャイカさんに、バーカウンター越しに人生相談ができるかもしれない。
社築さんの部屋におじゃまして、一緒にゲームで遊べるかもしれない。
黒井しばさんと一緒に、ドッグランを駆け回ることができるかもしれない。

ライバーごとに異なる「部屋」は、イベント会場に物理的に再現してもいいですし、MRで空間を重ねて表示しても良さそうです。それこそ、にじフェスのアトラクションのひとつとして、今回の実証実験をもとにした体験ができるようになるかもしれません。

にじフェスにもヘッドセットを使ったお化け屋敷アトラクションがすでにありますが、今回のMR技術がもし広い空間にも実装可能なら、「ライバーと一緒に会話しながらお化け屋敷を探索する」こともできるかもしれません。

そういった意味で、今後の可能性を感じられた、今回のイベント。あくまでも“実験”段階の試みではありますが、VTuberファンとしては夢のある技術であると同時に、7周年を迎えるにじさんじの新たな挑戦であるとも感じました。少人数限定のイベントで終わってしまうのはあまりにも惜しいので、ここでの成果が次に繋がることに期待です。


VR/AR/VTuber専門メディア「Mogura」が今注目するキーワード

CONSULTING / DEVELOPMENT

コンサルティング・開発サービス

Moguraの知見を、あなたのプロジェクトに

mogura_next

Moguraの知見を、あなたのビジネスに
編集長の久保田を筆頭に、XR/メタバースなどバーチャル領域を知り尽くす専門チームが、リサーチからコンサルティング、企画、開発までを一貫支援。
Mogura VRで培った豊富な情報力と業界ネットワークを強みに、企業・行政機関の成果につながる最適な解決策をご提案します。