横浜市のみなとみらいで開催された、国内最大のゲーム開発者カンファレンス「CEDEC2018」。本記事はCEDEC2018において行われたセッション、「VTuberのビジネスの最新動向と必要とされる技術について」のレポートとなります。
登壇者は株式会社CyberVの兵頭陽氏と岩崎謙汰氏、そして株式会社SPARKの広本則行氏。バーチャルYouTuber（バーチャルユーチューバー・VTuber）市場の展望、開発環境や機材の選定に加え、多人数での運用や今後のVTuberについてなど、多数のトピックが語られました。
CyberV社の展望
今回のセッションを行うCyberV社は、ゲーム動画配信プラットフォーム「OPENREC.tv」を運営する株式会社CyberZにより、2018年4月に設立されました。リアルからバーチャル、バーチャルからリアルの双方向の試みを行いこれらを融合、新しいエンターテインメントを創り出すことを目指しています。
現在はリアルの人間がcluster.やVRChatといったバーチャル空間を共有できるサービスなどに「入っていく」方向と、VTuberがリアルのイベントなどにARなどで「出てくる」方向があり、これらの双方向のコミュニケーションを発展させていきたいと語りました。
半年で急増したVTuberの認知度
CyberV社はVTuberをサポートしていくにあたり、どういう層が求めているのか、幅広いコンテンツにしていくうえで調査を行っています。
2018年8月時点での調査によれば、VTuberの認知度は約41.8%となっています。一方、従来のYouTuberの認知率は81%とのこと。VTuberは10代・20代の男女ではすでに過半数が認知しているほか、10代男性の認知率が70％と最も高かったことが報告されました。また、多くの人が帰宅後や就寝前に視聴しているとの回答結果もありました。女性のVTuber認知率は男性よりやや低く、今後は女性へのVTuberの認知を進めてゆくことが重要なのではないかとのことです。
各種環境の選定について：電磁波の強い環境ではどうするのか？
続けて、登壇者らはVTuberの開発環境の選定について語りました。開発に用いるエンジンの部分としては、エンジンのフルスクラッチ開発が時間的にかなり厳しい点や、Unreal Engine4（UE4）は社内エンジニアで経験者が少なく難しい点を考慮し、現在はUnityで開発を行っています。
Unityを使用することのメリットとして、Unityを使用しているVTuberの数がそもそも多いため、コラボで共通環境をつくることなどを考慮するとUnityに軍配が上がるとのこと。
配信環境については、同社の利用するスタジオが都内の高層階にあるため、電磁波の影響を受けやすく、またスタジオ内では複数番組が配信されていることや、ゴールデンタイムなどは使用中の機材から受ける電磁波の影響が強いとのこと。これらの問題をクリアできる配信環境や機材を準備する必要があります。
機材にはポピュラーな機材から選定しているとのことで、ポピュラーな機材を全て検証をし、その中から機材を選択しているとのこと。
「Perception Nuron」は安価かつ装着も簡単で、開発時にも採用されていました。しかし、スタジオで実際に試したところ、電磁波の影響が非常に強い環境のため、キャリブレーションが終わった途端にトラッキングが崩れてしまい、ジャンプもできない状態だったとのこと。
「SMARTSUIT PRO」はUnityのプラグインを導入することで容易に動きますが、Wi-Fiにしか対応しておらず、また電波環境が悪いとFPSが落ちるというデメリットも。真横に置いた場合には15fpsほどしか出ないことも。
「HTC VIVE + FinalIK」、そしてVIVEトラッカーの組み合わせは多くのVTuberが使用していますが、時期的に新型VIVEトラッカーのリリース待ちとなっていたため、機材の入手ができず別の方法を探すことに。
次に試したのは「MVN（Xsens）」。高価で装着に手間はかかりますが、全身のトラッキングができ、また電磁波対策に力を入れていることから好感触。一度キャリブレーションをすると2～3時間ほどは何もしなくても安定して動いくとのこと。ただしUnityのプラグインではネットワーク実装がUDPの設定しかなく、パケットロスが発生しやすいというデメリットもあります。
そして光学式の「OptiTrack」。大抵の動きはできる汎用性、装着はMVNより楽、マーカー追加で任意の剛体を追加できる機能など、メリットはなかなか。一方でカメラを使用してモーションキャプチャを行うため、カメラからマーカーが隠れてしまうような動作（寝転がる・かがむなど）をすると、マーカー数が少ない場合は動きがおかしくなるデメリットがあります。マーカーを追加することでオブジェクトを増やし、表現の幅を広げることも可能です。
現在、配信スタジオではMVNとOptiTrackを用途に応じて使い分けたり、ハイブリッドで運用したりしています。OptiTrackはいわゆる「ドリフト」が起きにくいですが、複数人で狭い部屋で動き回るときなどはMVNを使用しているとのことです。
複数人での運用について
続いて、RAGE バーチャルYouTuber GRAND PRIX ~2018 Summer~で実際に複数人で稼働するシステムを構築・運用したことについて。e-SportイベントRAGEにて、VTuberがゲームで対戦するというものです。6人+MCで合計7人のVTuberが同時に稼働するということになるほか、透明ディスプレイを4台横におき、4台連結を連結し縦置きにしたものとメインスクリーンに出力するといった条件でした。
機材不足などもあり難易度は高かったものの、MVNで5キャラ、RokokoとPerception Neuronで2キャラ、合わせて7キャラを動かしています。
舞台上ではスイッチャーで映像を切り替えるほか、バストアップの映像は常に送られており、スタジオの中心で縦置きのモニターで表示する際にはカメラを回転してインカムで指示して切り替えているとのこと。また、サーバー上に全キャラの情報を送信、サーバー側で結合しメインモニターに表示しています。
MVNのSDKの仕様の都合でUDPのパケットロスがひどく、前日までは“表には出せないような状態”だったとのことですが、5台のMVNを3台、2台の形でネットワークを分離することでなんとか無事運用できたとのこと。
また、声に関しては各VTuberがマイクをつけ、それぞれのPCに入力したものをHDMIに乗せてアナログで分割、舞台側に表示しています。ただし隣の人が喋った音声がマイクに入ってしまい、VTuberの唇が不自然に動くなどのトラブルも。通常運用でも2人、3人とコラボ配信を行うときは、隣の人の音声に対してリップシンクが機能しないように対策を行う必要があります。
これに対しては、最初は喉マイクで対応しましたが、女性の高い声の時に喉が震動せず、そもそも音がはいらないという問題がありました。結果的にイヤホンから音を取るマイクも使用して運用しているとのこと。すぐ横でそこそこ大きな声を出していても反応しないで使用可能ですが、叫ぶとどうしても音が入ってしまうとのことです。
また、実際の配信ではPCのデバイス周りのエラーが起きやすく、2個目のデバイスにアクセスしようとするとエラーで落ちてしまう問題などもあり、1キャラ：1PCでの運用としてサーバーにアクセスする形式にしています。
（RAGE バーチャルYouTuber GRAND PRIX ~2018 Summer~の様子。左から3番目のねこます氏はRokoko使用のためfpsが落ちており、右から2番目ばあちゃる氏はPerception Nuron使用のためトラッキングが崩れている。苦労のあとが見てとれる）
今後の課題として、現在社内でMVNプラグインのTCPネットワーク開発を進めているとのこと。「パケットロスの対策をするよりは、TCPの方が速そうなため」対応を進めています。さらにキャラ同士の干渉についてサーバー側の位置情報から対応できないかどうか検討しているほか、インターネットを介してMMOのような形で機能を広げられないか模索中とのことです。
これから挑戦したい表現：どのようにVTuberとコミュニケーションするのか？
最後に「これからやってみたい新しい表現」として、コメント会話以外のコミュニケーション、VTuber界の“罰ゲーム”について、そしてARの世界観でのVTuberについて語られました。
VTuberとのコミュニケーションのほとんどは配信中のコメントやTwitterのリプライなどで行われており、それ以外にも会話を使用したインタラクティブコミュニケーション、バーチャルギフトの仕組みを使用したコミュニケーションなどが目立ちます。
次の世代では現実の物体とバーチャルの連動が期待されています。VTuberの誕生日にはバースデーケーキを箱に入れてバーチャル世界に送るなど、「ファンが持っているリアルな物体をバーチャルに持ち込みたい」とのこと。また、コミュニケーション手段としてスポーツやゲームなどもできるようにしたい、と語りました。
またVTuberの生配信では多数の企画やコンテンツが配信されていますが、これについては罰ゲームが大事だと思っている、という見解を示しました。VTuberの罰ゲームは奥が深く、リアルとバーチャルでこれが罰であると認識できる共通のイメージが必要になるとのこと。
例えば現実でデコピンを受けたら当然痛みを感じますが、バーチャルキャラクターでは（現状のところ）痛みを感じることはほぼありませんし、痛がっている様子などを見せることができるものの、“罰ゲームらしさ”は失われてしまうとのこと。
これまでのVTuber配信における罰ゲームは 「音」に関係するもの、例としては恥ずかしいワードを言わせる、他VTuberのモノマネを行わせる、といったものが多いとのこと。リアルとバーチャルの空間では、音の情報はある程度対等に扱うことができ、視聴者とも共有しやすいものになるとのこと。今後の課題は罰ゲームの定番である「青汁を一気飲みする」などにおいて、「味」や「匂い」などをどうするか、というところに焦点を当てているようです。
また、AR空間でのVTuberはどのような世界になるのか、ということについても語られました。現在では、透過ディスプレイに表示するのか、映像上で表示するのか、HoloLensやMagic Leap OneのようなMRデバイスを装着して見てもらうのか、といった選択があります。登壇者らは影とアンビエントオクルージョン（環境光の遮られ方）がポイントであるとだと考えており、現実での映像の反射などができるのか、HoloLensなどでは通信やレンダリングなどが問題になりそう、などの懸念も語られました。
