株式会社ドワンゴは、バーチャルYouTuber(VTuber)やバーチャルキャラクターをAR合成し、場所を選ばずに生放送できるAR撮影システムを開発しました。第1弾放送として世界最大規模のデジタルゲーム見本市・E3 2018において、「電脳少女シロ」による現地レポート生放送を実施しました。このシステムは現在特許出願中です。
[ads]
VTuberを「その場に存在」させる
ドワンゴはこれまでにもARを使用し、バーチャルキャラクターを現実空間に出現・出演させる技術の開発に継続的に取り組んでいます。
“ネットとリアルの融合”を掲げた次世代ライブハウス「ニコファーレ」では、バーチャルキャラクターを生放送に出演させるAR演出を用いたライブステージを使用。また2012年以降、音楽イベント「ニコニコ超パーティー」でのMMDライブにおけるAR演出などを実施しています。それらの経験や知見を活用し、今回のシステムを開発したとのこと。
2017年末以降、VTuberは様々な動画や生放送で活躍していますが、その出演形式はバーチャル空間内に限定されているケースが大半を占めています。今回ドワンゴが開発したシステムを活用することで、VTuberが実際にその場に存在しているかのような映像を、リアルタイムに生成・合成、生放送が可能です。
さらに大きな特長として、このAR撮影システムはすべてバッテリー・ワイヤレス通信で動作し、屋外も含め自由に移動しながら撮影することができます。したがって、VTuberが現地を訪れた人々にその場でインタビューをしているかのような「現地レポート」や「旅番組」など、これまで実現が難しかった番組や演出形式が可能となります。
AR撮影システム特徴
AR撮影システムの特長は以下の通りです。
・カメラ・合成システム含め、オペレータ1名でコントロール可能。現地ディレクターとアシスタントを含めた数名のクルーで運用・配信可能。
・携帯電話ネットワークを使用した通信システム、かつバッテリーで動作するため、 移動しながらどこでも撮影することが可能。
・ドワンゴのモーションキャプチャスタジオから、現地の映像を見ながら動くことで、ARキャラクターの動きがリアルタイムに反映可能。
・モニターやカメラ、現地の照明環境を計測するセンサを使い、現地の環境に合わせて自然なキャラクター映像のリアルタイムAR合成が可能。キャラクターが現地の人と対面し合い、人間同士のように自然に対話することもできる。
ニコニコ生放送実施概要
6月15日、米国で開催されたE3会場内で、人気VTuber「電脳少女シロ」が来場者インタビュー等のイベントレポートを行いました。リアルタイムでAR演出を行い、ニコニコ生放送上では来場者と「シロ」が自然に会話をしている様子を作り出しました。こちらの動画は7月15日(日)23:59までタイムシフト視聴が可能です。