XR/メタバースをテーマとした国内最大級のカンファレンス「XR Kaigi」が今年度も開催されました。今年の「XR Kaigi 2023」は、「さらに未来に近づく10年へ」をテーマとし、オンライン/オフラインで計60以上のセッションが行われています。
今回はその中から、12月21日実施のセッション『XRを活用したライブエンターテイメントの「体験を作る」』をレポート。登壇者は、THINK AND SENSEのayato氏、めーぷる氏です。
「面白いことを、テクノロジーで実現する」姿勢
THINK AND SENSEは株式会社ティーアンドエスの部署であり、エンジニアやデザイナーなど、様々なツールを使ってクリエイティブなコンテンツを作るメンバーが集まっています。
今回の登壇者であり、THINK AND SENSEで“美少女クリエイター”として活動するめーぷる氏は、「体験を作る」をテーマとして制作に取り組んでいます。とくにアナログ表現とテクノロジーの融合に興味を持っているとのこと。
同じく登壇者でありクリエイターのayato氏は、数学や科学を用いたアート活動全般に興味があり、THINK AND SENSEでは何でも屋のポジション。セッションの当日も、現場の設営からそのままXR Kaigi 2023の会場に来たのだとか。
THINK AND SENSEで実施しているプロジェクトは主に4種類。テクノロジーで細部の演出をする「ライブエンターテイメント」、壁に映像を投影して没入体験を作り出す「イマーシブエクスペリエンス」、VR/ARを取り扱う「XR」、そして新しい取り組みやアート的な作品を開発する「Art/R&D」です。
「イマーシブエクスペリエンス」ジャンルでは、京都の歴史ある寺院、両足院から「禅を3分で体験できないか？」という相談を受けた事例を紹介。「そもそも禅をどのように表現するのか」といったディスカッションから始まり、その後両足院を精密に3Dスキャンして点群化、これをベースに映像を投影したそうです。「自他の境目がなくなっていく、自己と自然の同一化していく表現を行いました。これが後のコンテンツ開発に繋がっています」と明かしています。
ちなみに、THINK AND SENSEで開発したイマーシブコンテンツのように、「壁一面に投影されたものを様々な方法で楽しむ、というのは国内ではまだ一般的ではない」とのこと。まだ馴染みがないゆえか、お客さんも「前に投影されたものだけを見ていることも多い」そうです。海外では寝そべったり、立ったり座ったり、あちこち行って違う角度から見える風景を楽しんだりと、より自由な見方が許容されているとのこと。
また、登壇した両名は、「THINK AND SENSEでは『技術的に面白いこと』もしていますが、両足院のケースのように『まず面白いことを考えて、それをテクノロジーでどう実現するのかを試行錯誤し実践すること』、つまりプロセスを大事にしている会社です」とコメントしました。
「MIKU BREAK」から見る、アナログのパフォーマンスとテクノロジーの融合
次に紹介されたのは「MIKU BREAK」。MIKU BREAKは、ティーアンドエス所属のテックダンスフュージョン集団「CONDENSE」と、初音ミクがコラボしたIPです。ステージに特殊な衝立を立てて初音ミクを投影、ダンサーと初音ミクが同じレイヤーでパフォーマンスを行っています。
この衝立は従来の透過スクリーンとは異なるもので、例えば衝立の後ろにダンサーがいたときに、ライトを当てれば前側から透けて見えますが、ライトを当てないようにすればダンサーの姿は完全に見えない仕組みになっています。また、衝立は動かすことができ、縦にずらしたり横に動かしたりできます。
「MIKU BREAK」は2021年より始まり、テクノロジーを使って演出をアップデートしてきました。現実のライブだけでなく、バーチャル空間のライブやAR合成のライブなどいろんな取り組みをしてきましたが、それは「MIKU BREAK」には「バーチャルとリアルの境界を壊す」というテーマがあるからとのこと。初音ミクが現実に来たり、CONDENSEのダンサーたちがバーチャルに行ったりと、上手く融合させてさまざまな表現を行っています。
上記の衝立以外にも、「バスケットボールを使うパフォーマーがいるから、光るボールを使う」「ライブと連動するアプリに初音ミクが飛んでくる」といった表現も。めーぷる氏は「THINK AND SENSEでは、表現を拡張していくことで、受け手にとって新しい体験を生み出しています」と語りました。
このようなアナログのパフォーマンスとテクノロジーの融合では、アナログの表現をテクノロジーで拡張したり、テクノロジーの表現をアナログで拡張したり……といった、相乗効果で生まれる新しい表現を目指しています。
また、一例としてCONDENSEは「Break the Bias」という曲のミュージックビデオでAIを使用しているものの、これは「AIって最新ですごいから使う」といった考えではなく、「AIを使うことで、ダンサーの表現をどう拡張できるのかを目指しつつ、ダンサーがいかにAIを騙せるか」に挑戦しています。
(「Break the Bias」のミュージックビデオでは、AIによる画像認識や分類を表現に利用した。手にスマートフォンを持ったパフォーマーとその周囲の空間が「TV(テレビ)」として分類されるなど、AIに対してアイロニカルな描写も)
また、「MIKU BREAK」では、「初音ミクが衝立の中にいるからダンサーも中に入ろう」「入ったダンサーはデジタルになろう」「指ドラムを叩くパフォーマーがいるから、初音ミクも指ドラムの機械の中に入り込もう」「初音ミクがマイクの乗り移ってビートボックスと融合しよう」といった取り組みが行われています。
THINK AND SENSEとCONDENSEが同じ社内に存在することで、本来は興味を持つ社外のアーティストやスタジオとのやり取りが必要なところも、スピード感をもって実験や制作に移れるとのこと。ダンサーと一緒に企画を考え、話し合って表現を組み立てていくこともあり、新しいことへの挑戦がしやすい環境になっているそうです。逆にCONDENSEのメンバーから「海外アーティストがこうライブをしていたから、自分たちなりに拡張できないかな？」と相談されることもあるのだとか。
まとめとして、THINK AND SENSEではテクノロジーは新しいから面白いのではなく、テクノロジーをあくまで手段として、何を伝えたいか、何を実現したいかを重きにおいている
とのこと。その試行錯誤の先に新しい体験が生まれるというのが、自分たちの取り組みだと述べました。
イマーシブコンテンツは「トライエンドエラー」が大事
ここからは質疑応答。「イマーシブコンテンツを制作する際は、現地と同じ環境を作っているのか？」という質問に対し、ayato氏は「最初の頃は現地で見てみると映像に酔ってしまうなどのケースがあったので、TouchDesignerやUnreal Engine等を使い、シミュレーターを企画の最初の段階で構築し、部屋やVRデバイスを使って擬似的に体験しています」と回答。以前は倉庫を貸し切ってテストしたこともありましたが、「常に現地と同等の環境を再現するのがベストですが、毎回・毎日、同じ物理スペースを借りることはできないので、シミュレーターを通したトライエンドエラーが中心になっています」と回答しました。
また、質疑応答までの待ち時間には、先程触れられなかったロックバンド「ブラフマン」のライブパフォーマンスの案件についても回答。Kinectをライブステージ上に置き、アーティストの動きをセンシングし、リアルタイムで後ろのスクリーンに映すなどの取り組みを行っています。また、ただ単に映像を出すだけではなく、エフェクトを加えて「迫力を可視化」し、「お客さんがアガれるように」作ったとのことです。
THINK AND SENSEのセッションは以上となりました。なお、THINK AND SENSEでは新しい人材も募集中。「なにか技術を持っている人で、あなたの『好き』を持っている人」「それから、Unreal Engineで映像を作れる人」を探している、とのことでした。
【Sponsored】THINK AND SENSE
