2018年8月22日から24日にかけて開催された、ゲームを中心とするコンピュータエンターテインメントの開発者カンファレンス・CECEC2018。本カンファレンスではいくつかのバーチャルYouTuber（バーチャルユーチューバー・VTuber）関連セッションや、キャラクターを現実空間のイベントに呼び出して出演させる、という取り組みに関するセッションも複数開催されています。
今回は、技術だけでなく想いを込めてキャラクターを現実に存在させ続けてきた、ドワンゴとバンダイナムコスタジオのセッションを前後編に分けてレポートします。
前編では、バーチャルキャラクターをリアルに召喚するための技術と現場経験からくる課題を網羅的に解説したドワンゴ/バーチャルキャスト岩城氏のセッションを、後編（本記事）ではキャラクターが活き活きと動く様をモーションアクターの実演も交えライブで見ることができたバンダイナムコスタジオ大曽根氏・森本氏のセッションを取り上げます。
前編の記事はこちら：
「バンダイナムコスタジオによるキャラクターライブへの挑戦」
本セッションは8月23日に行われました。登壇したのはバンダイナムコスタジオの大曽根淳氏と森本直彦氏。バンダイナムコスタジオが開発したリアルタイムキャラクターアニメーション技術「BanaCAST」の技術や実際の運用事例を聞くことができました。さらに声優、振付だけでなくモーションアクターとしても活動を行う能登 有沙氏がリアルタイムモーションキャプチャによるキャラクターライブの実演を行いました。
BanaCASTとはBandaiNamco Character Streaming Technologyの略。バンダイナムコスタジオ社による、モーションキャプチャ技術とリアルタイムCGキャラクタを活用したインタラクティブなライブコンテンツ提供サービスです。「CGキャラクターを使った舞台や、ライブエンターテイメントの創出、CGキャラクターとのインタラクティブな対話やふれあいなど、次元を超えた一体感を生み出すシステム」とのこと。
まず最初に、BanaCASTのプロデューサーである大曽根氏が登壇、BanaCASTの活用事例として、以下の3つが挙げられました。
（バンダイナムコスタジオの大曽根淳氏）
「EGOIST」ライブ
2016年9月以降、ryo氏(supercell)がプロデュースを手掛けるアーティスト「EGOIST」のライブにて、ボーカル「楪（ゆずりは）いのり」がステージに登場。彼女は1時間半もの時間のライブをこなしています。現在もEGOIST ASIA TOUR 2018が、8/31～10/20のスケジュールで開催中。
アイドルマスター
2017年1月に開催された声優が出演するイベントにて、同作のキャラクター「天海春香」がステージに登場。2018年4月～5月には横浜のDMM VR THEATERでは声優ではなく、アイドルキャラクターが出演するイベントを開催しており、9/15～10/8にも続編となる「THE IDOLM＠STER MR ST@GE!! MUSIC♪GROOVE☆2nd SEASON」が開催される予定です。
プロジェクト東京ドールズ
同作のキャラクター「ヤマダ」によるYouTubeチャンネル「ヤマダダ」。こちらはリアルタイムのイベントではなく、日～金曜日更新のYouTubeの番組です。
このほか、BanaCASTは各種イベントや社内セミナーでのキャラクターライブに活用されているとのこと。
大曽根氏はCGデザイナーやモーションキャプチャのディレクターなどを経験し、2012年ころから「モーションキャプチャを活用して、クオリティの高いキャラクターをリアルの世界に立たせたい」という想いを持ち続けていたそうです。
それとは別に「キャラクターが本当に実在するように感じられて、日々の生活の中で触れ合える機会をもっと増やしたい」という目的をもった研究開発が進んでおり、2014年には別々に動いていたプロジェクトが一つになりました。そして、2015年の3月にグループ向け技術内覧会で展示、同年9月に東京ゲームショウのイベントで一般公開となったとのこと。
セッション中に生で踊って会話するミライ小町さんが登場
と、ここでスクリーンに映し出されたのは、バンダイナムコスタジオの技術紹介のオリジナルキャラクター「ミライ小町」。が、動く姿！
彼女は挨拶をしたあと、ステージ上を駆け巡り大きく手を振りをしながら、どこから来たのか、お昼には何を食べたかを質問し、来場者とリアルタイムでコミュニケーションを取りました。
[wc_row][wc_column size=”one-half” position=”first”]
[/wc_column][wc_column size=”one-half” position=”last”]
[/wc_column][/wc_row]
（会場全体の聴講者に質問するため、隅から隅まで駆け巡るミライ小町）
そのあと、自身のVOCALOID曲にあわせて、空間上の隅々まで動きながらダンスを見せてくれました。
ダンスの後、スクリーンはセッション会場から離れたモーションキャプチャ会場を映し出します。そこにいたのは、声優・タレント業だけでなく、数多くのゲーム・アニメコンテンツでモーションアクターや振付も担当している能登有沙氏。
ミライ小町は、リアルタイムモーションキャプチャで動いていた――という事で、モーションキャプチャスーツを着た能登氏が今回のアクターを担当していました（トークパートの声も能登氏が担当しています）。
（ステージを走り回ったり飛び跳ねたりもできます）
BanaCASTの技術
続いてVRゲーム「サマーレッスン」などにも携わったBanaCASTのディレクター、森本氏による技術解説が行われました。
（バンダイナムコスタジオの森本直彦氏）
BanaCASTは、Unreal Engine 4もしくはUnityに、Viconの光学式モーションキャプチャシステムを使って構築されているそうです。光学式モーションキャプチャを使用している理由としては、キャラクターの音楽ライブなどで数時間キャプチャし続ける上での安定性や、チームの動きのクオリティーへのこだわりがあるからとのこと。
ここで、ライブ現場の事例が紹介されました。このケースにおいて、ステージ中央に配置したLEDディスプレイにリアルタイムで動くキャラクターが映し出されますが、その裏にはモーションキャプチャステージがあるそうです。
キャプチャステージは鉄骨のトラスで骨組みをつくり、モーションキャプチャのカメラを取り付けることで作ります。収録エリアとしては最低2m×5mほどで、設置エリアとしては2～3m余分に必要になります。キャプチャ用のカメラは14台がミニマム構成です。
キャプチャステージはイベント会場で限られた時間で組み立てる必要がありますが、BanaCASTのチームは経験を積んだ結果、今では組み立てに1.5時間、テストに1時間の2.5時間で設営ができるそうです（余談ですが、ドワンゴ/バーチャルキャストの岩城氏も早さに驚いていました）。
現状では同時に4～5人はリアルタイムで出演が可能とのことです（検証では10人くらいでも動くが、光学式のキャプチャの利用のため人が多いとマーカーがカメラから隠れてしまう可能性がある）。
ステージのLEDディスプレイの裏でモーションキャプチャしたデータは、LANケーブルを惹いて、ライブハウスの後方のブースに送ります。そこで映像チームが生成させた映像をステージ上のディスプレイに表示させています（ステージとキャプチャスタジオを遠隔で繋いでの運用も可能で、過去には幕張メッセと門前仲町のバンダイナムコスタジオのオフィスを繋いでイベントを実施したこともあるとか）。
ブースには、映像の中での衣装や照明を変えるのに音響や照明用のコントローラーのほか、ゲームパッドも利用しています。
ディスプレイはLEDディスプレイだけでなくプロジェクター、透過スクリーンなどステージにあわせて対応できます。表示解像度としてはゲーミングPCで出力できる4Kまでは実際に出力した経験があるそうですが、業務用の映像システムだとフルHDを超えるとプロジェクターを含め機材が高価になってしまうそうです。
キャラクターライブの経験とこれから
森本氏は、キャラクターライブを作っていく上で重要な要素として、優秀なモーションキャプチャのエンジニアを挙げています。その理由として、常設ではなく様々な現場で状況にあわせてセッティングしていくうえでアナログなノウハウが必要であるからと、経験を踏まえての発言をしました。また、（ゲーム開発者が多いCEDECの聴講者に対し）リアルタイムCG技術も必要だが、それはゲーム制作のノウハウがそのまま生かせるとしました。
一方、ゲーム開発者が持っていないものとして、プロのAudio Visualの知識やライブ現場の経験・知識などを挙げました。これも、特に初期の事は圧倒的に不足していたが、ゲーム開発会社からライブの世界に入る人が珍しいため、ライブ現場の方にはやさしく教えてもらえたと、森本氏の体験が語られました。
一方で、ゲーム開発者ゆえに感じられたことにとして、数年単位のゲーム開発の世界から、分刻み秒刻みで動くライブの世界を体験すると、同じエンターテインメントでも時間間隔の違いがあり、面白かったと言っています。
森本氏にとって眼の前にあるモノ（長年やってきたゲーム開発の技術や環境）に、眼の前にはなかったモノ（ライブやイベントなど、いままで関わりの無かった世界）を組み合わせることで、最初飛び込む時は勇気も必要だったが、飛び込んだからこそ新しい価値が生まれたと述べました。
そして、キャラクターライブの魅力として、音楽ライブで経験できる楽しみに加えて、「本物」に逢ったと感じられる体験、夢の中の世界が現実になったような楽しさもあると発言。
最後に、10人くらい同時に出演させたり、ドームクラスの会場で公演をさせたり、そして「2年後にあるスポーツの祭典で何かお手伝いできないかなあ……」と今後の野望を抱いていました。
モーションキャプチャの現場へ
セッション後、会場の別室に仮設されたパシフィコモーションキャプチャのステージが公開されました。
そこでは能登氏の実演も見ることができましたので、アクターの動きにあわせてキャラクターが踊る様子をご覧ください。
アクターが見ているキャラクターのモニターは、アクターが混乱しないように左右反転になっています（本レポート前編参照）。マーカーは、足も含めて全身についていますので、下記の動画のように座ったりすることもできます。実際にこの後はごろごろ寝転がったりも。
なお、マーカーは小型化したり、両膝を合わせてもぶつからないように左右で少しずれるようになったりと、踊りやすく進化しているそうです。
また、実演のほかに大曽根氏、森本氏にアクターの能登氏も交え、質疑応答ができましたので、そのいくつかを挙げておきましょう。
リップシンクについて
アクターの動きをモーションキャプチャする方法と、音声を元にあわせるという方法があり、BanaCASTとしてはどちらのアプローチもとっている。これまでやってきた中で、アニメ的な誇張された表現の場合は、音声基準で付けたほうがよい。アニメのキャラクターは（アニメーターが絵を描く都合で）口を半開きにすることはないので、キャプチャでリップシンクをやると違和感がある。対象のコンテンツが何をしたいかというのに合わせて使う技術が変わる。
指の動きについて
今回のケースでは、アクターが両腕を上げて広げると、キャラクターの手（指）が自動的に開くようにシステム側で設定をしている。
森本氏いわく、手が固まったまま他の動きが生々しく動くのがアニメーターとして許せなかったが、デバイスを使わずにダンスの手を再現できないかなと試行錯誤してた際に、ダンス映像をよく観察すると、腕を上にあげると手が開く事が多いため、そのような仕様を取り入れたとのこと。
アクターと演じさせたいキャラクターとで身長などが異なる場合について
モーションアクターの身長に関係なく、システムのほうでキャラクターの身長に合わせた動きをさせることができる。複数人が登場して手を合わせるときなどについては、アクターの方で位置を調整することもある。
一方で、アクターを手配するほうでも、キャラクターに近い体形のアクターを紹介するようにもしている(アクターコーディネーターの株式会社ソリッド・キューブ 原田氏）。
人間のダンスとキャラクターのダンスの違い
能登氏によると、やはり人間とキャラクターとで骨格が異なるので、モーションアクターの時はキャラクターがうまくかわいく見えるよう、アイドルとは違った気の遣い方をしているそうだ。
（実演の後に挨拶をする能登氏）
最後に
バンダイナムコスタジオとドワンゴの2つのセッションに共通することとして：
・この技術を用いれば最強というのではなく、現場の状況や、コンテンツがどういう世界観か、何を表現したいかによって用いられる技術や手法は変わる
・映像制作やキャプチャ技術だけでキャラクターライブができるのではなく、アクターやイベントの音響・照明・設営・舞台進行などのプロにやりたいことを理解してもらい、任せたり、あるいは新しいものを生み出すべく協力することが大事である
ということでした。
そしてなにより、キャラクターと世界観を大事にした上で、関係者みんなで力をあわせキャラクターを現実世界に呼び出すことの楽しさ、素晴らしさが伝わってきました。
VRMのイベント対応もですが、セッションの関係者からはこのようなコンテンツを広げたい、盛り上げたい、閉鎖的にはしたくないという声があり、いろんな人たちが盛り上げていけるような環境も作られているそうです。
我々とキャラクターが現実空間で触れ合う機会が増えていくことを、これからも楽しみにしています！
＜参考リンク＞
EGOIST ASIA TOUR 2018（8/31～10/20）
http://www.egoist-inori.jp/live/
THE IDOLM＠STER MR ST@GE!! MUSIC♪GROOVE☆2nd SEASON（9/15～10/8）
https://idolmaster.jp/event/dmm_theater2nd.php
YouTubeチャンネル『ヤマダダ』（日～金曜日、動画投稿中）
https://www.youtube.com/channel/UCmNjDc-wW_nqs4WzEHKyJnw/featured
CEDEC2018 「バンダイナムコスタジオによるキャラクターライブへの挑戦」
https://2018.cedec.cesa.or.jp/session/detail/s5af2d94603408
© BANDAI NAMCO Studios Inc.
