Home » キヤノン×ヤマハ×IBM×クロノリンク、本気のコラボがボリュメトリックビデオと立体音響でエンタメを変える


業界動向 2022.12.12 sponsored

キヤノン×ヤマハ×IBM×クロノリンク、本気のコラボがボリュメトリックビデオと立体音響でエンタメを変える

新型コロナウイルス感染症の流行がエンデミック(日常化)に向かうなか、ライブエンタテイメントは世界中で大きな変化を迎えています。

伝統芸能や音楽コンサート、スポーツ観戦、テレビドラマ、舞台演劇といったジャンルを超えた、新しい表現スタイルが模索されています。

最先端の情報技術やロボティクスを大胆に取り入れた作品に注目が集まるほか、イマーシブシアター(体験型演劇)やxRライブフェス、複合芸術(Transdisciplinary Arts)など、さらなる「体験の向上」を目指した「空間演出」が試みられ、それらを支えるXRテクノロジーの実用化も進みます。

そうした中で、2022年11月、キヤノン株式会社(以下「キヤノン」)、ヤマハ株式会社(以下「ヤマハ」)、Qlonolink株式会社(以下「クロノリンク」)、日本アイ・ビー・エム株式会社(以下「日本IBM」)の4社が3Dイマーシブシアター体験会を開催しました。体験会と、それに先立って行われた内覧会のレポートをお届けします。


体験会・内覧会の様子(撮影:西岡心平)

今回の体験会では、6人組アイドルグループ「ばってん少女隊」のパフォーマンス撮影とVRライブ上演を題材とした、ボリュメトリックビデオシステムと仮想立体音響ソリューション「Sound xR」の活用事例が紹介されました。

ボリュメトリックビデオ技術(キヤノン)、音響技術(ヤマハ)、XRコンテンツ開発(クロノリンク)、コンピューティング(日本IBM)――。4社が強みとする「チカラ」を結集し、それぞれの要素技術・サービスが単体で持つ以上の魅力が、クリエイター(制作現場)の感じる「驚き」からオーディエンス(観客)の感じる「エモさ」まで、一気通貫で伝わる場でした。

3Dゲームのようにスポーツ観戦できる自由視点映像

ボリュメトリックビデオシステムとは、現実の人、物から3Dモデルを作成し、仮想空間に展開する技術です。撮影エリア全域を多数のカメラで取り囲んで、空間まるごと動画キャプチャし、被写体の形状や動きを多視点で捉えた3Dモデルを生成します。完成したボリュメトリックビデオ(自由視点映像)は、まるで透明なドローンで撮影したかのごとく、ハイアングルでもローアングルでも任意の視点で鑑賞できます。

「ラグビーワールドカップ2019」で作成されたボリュメトリックビデオを見てみましょう。ボールの動きを遠方俯瞰で追う従来のスポーツ中継と比べて、オフェンス/ディフェンスの陣形変化が選手目線で伺えますし、停止状態での視点移動も可能。選手目線のスポーツ解説がより深く理解できそうです。

東京ドームで行われたプロ野球中継に活用した事例では、自由な視点でのリプレイやハイライトが短時間で生成され、3Dゲームのような映像演出が実現されています。

演者に負担をかけずに3Dコンテンツが作れるスタジオ

当初はスタジアムでの利用実績が多かったボリュメトリックキャプチャですが、屋内での撮影の需要も高まるように。今回紹介するキヤノンの「ボリュメトリックビデオスタジオ‐川崎」(神奈川県川崎市)は、そうした背景のもと生まれました。

専用スタジオ(幅20m・奥行き15m・高さ4m)にはグリーンバック(合成背景)となる外周に100台超の4Kカメラがセッティングされ、撮影エリア全域(幅8m・奥行き8m・高さ3.5m)をキャプチャできます。


撮影エリアの各所にカメラを設置(出所:キヤノン


あらゆる角度から被写体をキャプチャできる(撮影:西岡心平)

日本IBMのコンピューティングパワーとストレージを活用した大規模な並列分散処理によって、わずか3秒で3Dモデルを生成でき、カメラワークを付加できるデータ形式でも保存できるとのこと(Maya、3ds Max、Cinema 4D、Blenderなどに対応)。


映像・データ生成の流れイメージ(出所:キヤノン

内覧会では、「ばってん少女隊」のみなさんがパフォーマンスする撮影シーンを拝見しました。少人数のダイナミックな動きから、15人程度の多人数グループにも対応可能。カメラワークはあとから調整できますから、演者のパフォーマンスが良ければ、一発撮りで撮影完了。ライブ収録だけでなく、録画配信や物理メディアの制作にも使いまわせる。演者に負担をかけない素晴らしいシステムです。


「ばってん少女隊」の希山愛さん(右)、春乃きいなさん(中央)、瀬田さくらさん(左)(撮影:西岡心平)

現実の衣装をそのままモデリングするため、生地の揺れなど自然な動きを表現でき、演者がモーションキャプチャ用のスーツに着替える必要もありません。背景や地面の差し替えが簡単で、パーティクル(粒子)による演出など、映像エフェクトをかける追加編集も可能です。この技術は映像の可能性を大きく広げるでしょう。


現地撮影しながら3Dモデルの動作確認もできる(撮影:西岡心平)

ヘッドホンでも広大な音場が得られる立体音響


VRヘッドセットとヘッドホンを装着(撮影:西岡心平)

ヤマハは、ヘッドホン/イヤホン向け仮想立体音響ソリューション「Sound xR」の次世代技術の展示を行いました。キヤノンの強みが「視覚」なら、ヤマハはいわば「聴覚」のスペシャリストです。美しい旋律と響きをもたらす楽器作りに長け、音響機器や防音室の開発にも長年取り組んでいます。今回は、「ばってん少女隊」のみなさんが歌いながら歩くシーンを、ヘッドフォンと画面で視聴しました。


パフォーマンスの視聴体験(撮影:西岡心平)

音響機器にはよく知られた技術課題があります。人間の耳には音の性質から音源の方向や位置(音像定位)をイメージする能力があり、音が聴こえる場所(音場)の実感に大きく影響します。例えば、イヤホンやヘッドホンで聴くと、緻密で正確な音像を感じられますが、左右の音声が交わらずに直接耳へ届くので、まるで頭の中で音が鳴っているように感じて、臨場感が薄れてしまいます(「頭内定位」といいます)。

室内スピーカーで聴けば、空間そのものに音が重なり合うような音場が体験できます。ライブハウスやコンサートホールで音楽鑑賞する醍醐味ですが、良質な音場を作るには、スピーカーやアンプといった音響機器のクオリティ(品質・性能)を高めなければなりません。室内の反響音もコントロールする必要があります。

「Sound xR」のキーコンセプトは、それらを踏まえた「実感」の追求です。音像定位、環境音の再生に加え、新たに仮想空間内の響きまで再現することによって、聴取位置における正確な音場を生成します。ヘッドホンでの聴取でありながら、音像は精細で、音場が極めて広く、奥行きのリアリティが抜群なのです。

演者が画面外に移動したときでさえ、見えない演者が歩く位置を手でふれられると感じるほど。背後からの歌声はややくぐもって聴こえるなど耳の形状を考慮した鳴り方で、ライブ収録の「空気感」まで耳から伝わるようでした。

広大な空間からASMR(Autonomous Sensory Meridian Response:自律感覚絶頂反応)までシームレスにカバーする音響技術が、高級オーディオやホームシアターに比肩する臨場感を生むと、初めて知りました。この仮想立体音響技術とボリュメトリックビデオを組み合わせたら、どんなコンテンツが生み出せるでしょうか?

エンタメに「驚き」をもたらすxR技術

今回の体験会では、VR空間に展開された複数のライブシーンが視聴できました。ジャズバーのシーンは、入室前の(外壁で)スポイルされた音から、ドアをくぐった瞬間に音の解像度が一気に高まるところまで、リアルそのもの。教会のシーンは、高い天井がもたらす残響がいつまでも残る、芳醇な音空間でした。


VR内で音空間を堪能する様子(撮影:西岡心平)

さらに、ばってん少女隊のライブシーンでは、ボリュメトリックビデオのメリットが活きます。会場内を動き回って、お気に入りのポジションを探したくなるのです。かぶりつき(最前列席)から演者を応援するもよし、舞台袖から共演者・プロデューサー気分で見るもよし、舞台にあがって、メンバーの間近で歌を聴いてもいい。一緒に踊ってもいいし、なんなら踊りたくなる。1回限りのライブを何度も体験したくなって、そのたびに感動できる魅力があります。


画面の向こうの「どこ」でも視聴できる(撮影:西岡心平, © Unity Technologies Japan/UCL)

二つの技術が社会に広がったら、将来どんなエンターテインメントが生まれるでしょうか。

ボリュメトリックビデオの生成にかかる時間を計算・調整すれば、現実世界のスタジオでパフォーマンスするアイドルが、仮想空間でもVTuberと共演できるでしょう。ASMRコンテンツは、演者をより間近に感じさせる、未来形の表現が追求できます。カメラワークや音響、背景を誰でも設定・操作できるプラットフォームができたら、「俺の最高の演出を見ろ!」といった「空間演出の自由化」ムーブメントが起こるかもしれません。


ライブ・エンタテインメントの「体験の質」が高まりそう(撮影:西岡心平)

「ボリュメトリックビデオスタジオ‐川崎」は、一般企業やクリエイターからの撮影依頼も受け付けています。スポーツやファッション、古典芸能のほか、アイドルグループや音楽バンド、ダンサーの活用事例がすでにあります。

もちろん、制作されたコンテンツはVRやAR、MRで活用できますから、xRクリエイターのアイディア次第で、今までにない作品が次々と作られる可能性を秘めています。この新しい「劇場」が、エンタメ市場に驚きをもたらす、次世代コンテンツの発信源となるはずだ。そう、確信しました。

■キヤノン ボリュメトリックビデオ
https://global.canon/ja/vvs/

■ヤマハ 仮想立体音響ソリューション – Sound xR
https://cloud-solutions.yamaha.com/soundxr/

■ばってん少女隊
https://battengirls.com/
https://www.youtube.com/@BATTENGIRLS
スターダストプロモーション福岡営業所所属のアイドルユニット。2015年6月に活動を開始し、2020年に自主レーベル・BATTEN Recordsを設立。同年10月にアルバム「ふぁん」を発表し、中毒性の高いメロディや曲調が特徴のリード曲「OiSa」がロングヒットを記録。2022年10月には最新アルバム「九祭」をリリースし、同年11月に中野サンプラザでのワンマンライブを全席ソールドアウトにて成功させている。最先端テクノロジーとのコラボレーションを積極的に展開しているグループとして近年注目されている。

【Sponsored】Qlonolink株式会社


VR/AR/VTuber専門メディア「Mogura」が今注目するキーワード