Home » 【XR Kaigi】XR空間における「共感覚的な質感」はどう作られるべきか――水口哲也らが語る


開発 2019.12.20

【XR Kaigi】XR空間における「共感覚的な質感」はどう作られるべきか――水口哲也らが語る

2019年12月4日東京・秋葉原で開催されたカンファレンス、XR Kaigi 2019。本記事では多数行われた講演のうちのひとつ、「XR空間における『共感覚的な質感』はどう作られるべきか」のレポートをお届けします。

登壇者は、EnhanceのCEOである水口哲也氏、ディレクターの石原孝士氏、サウンドデザイナーの武藤昇氏。進化を続けるXRデバイス技術を活用した共感覚体験の表現と、クリエイティブ制作の秘密に迫るスペシャルセッションです。

目次

1.Enhanceは何を目指す? 過去をプレイバック
2.水口流のものづくり。手触り感のある実験とは?
3.共感覚的な表現や体験作りの極意
4.2016年VR元年到来。2Dから3Dへ進化を遂げるXR体験
5.XRで感覚を連動。共感覚的な統合体験をもたらせ

Enhanceは何を目指す? 過去をプレイバック

水口哲也氏(以下、水口):

今日は「XR空間における『共感覚的な質感』はどう作られるべきか」について話しますが、まずメンバー紹介から。

石原孝士君はアートディレクター、UIなどビジュアルと全体的な体験のディレクションを担当。武藤昇君はサウンドデザイン、音楽のコンポーザーで、最近はHydelic(ハイデリック)という音楽ユニットのプロデューサーでもあります。

Enhanceはアメリカで2014年に起業し、本社機能はカリフォルニア州、研究開発の拠点は渋谷にあり、現在は約20人が活動してます。なかにはエンジニア、プログラマー、ビジュアル系のアーティストデザイナー、サウンドのデザイナー、コンポーザーとひと通りを備え、社内でできないことは外部とアライアンスを組むスタイル。

Enhanceを設立して5年経ち、僕らは「体験を共感覚的に拡張する」というミッションに向け、さらに邁進する段階にきています。そこで「Games/Entertainment/Art」「Synesthesia Lab」「XR Applications(※未発表)」という3つの柱を立てました。

1つめの「ゲーム/エンターテインメント/アート」では、自発的に自分たちがいいと思うものを、自分たちの資金で作り、世の中に発表し社会実装することを目標にしています。

2つめが「シナスタジアラボ」で複数のパートナーと共感覚研究ラボをやっています。

3つめの「XRのアプリケーション」は未発表でまだお見せできませんが、プロジェクトとして準備しています。

今日のお題で言うと、30年ほど前に一度VRの波があったものの、少し先の未来からみると「2016年がVR元年だったね」と言われると思うんです。その2016年より前に、僕たちが何をやってきたのかをお話したいと思います。

僕は今から18年前の2001年はセガの社員で、PlayStation2とDreamcast用に「Rez」というゲームを開発していました。「Rez」は、サイバースペースでウィルスを浄化するとサウンドが出て、音楽とビジュアルが溶けて絡みあっていくゲームで、「どうやったら既存の“おもしろいゲーム”から、“楽しく気持ちがいいゲーム”にシフトできるのか?」と考えて作ったんですね。

僕の頭の中の発想では、「Rez」はXR的な体験なんだけど、当時は2Dのテレビ画面の中に「Rez」の世界があって、理想と現実の距離を感じながら、さまざまな制約の中で作りました。そして2016年にこの「Rez」をVR化し、「Rez Infinite」へとつながっていきます。

あと僕はビジュアルとオーディオ、ライト、特殊ボーカルを組み合わせた「元気ロケッツ」という音楽ユニットを結成し、ライブをやっていました。2007年に幕張メッセで開催されたイベントの前座で、ステージ上に巨大な透明スクリーンを貼ってホログラムを使い、客席から見ると、そこに人が立っているように見えるライブをやりました。今となっては初音ミクとか、いろんなかたちが試されていますよね。

元米副大統領アル・ゴアのホログラムでメッセージを送ったり、3Dメガネをかけて、元気ロケッツの「make.believe」のミュージックビデオをSONY BRAVIAで流すと3Dで見えるといったことをやっていたのですが……。

どれも共感覚的で立体に見える映像とはいえ、やはり2D画面の向こう側の世界で、自分とゲーム体験の間に距離があって、全然3Dじゃないし、インタラクティブでもない。やればやるほどフラストレーションがたまる感じでしたね。

2011年には、3Dのメガネをかけてライブに参加してもらい、巨大な3DのLEDモニターで映像を見ると大量の粒子であるパーティクルの一つひとつが別の音に反応する複数の層になった、奥行き感のあるオーディオビジュアルの連合を試しました。そういった意味ではすごくおもしろかったんですが、ある窓を覗くと“向こう側に世界がある感じは抜けませんでした。

そして2011年「Child of Eden」を作り始めます。Kinectを使って指揮者のようにプレイする作品ですが、これも2Dフレームを介した向こう側の世界の話で、ここにきて僕もやる気がなくなってきて、2、3年は作るのやめていたんです(笑)。

水口流のものづくり。手触り感のある実験とは?

水口:

ここからは、どういう風に作ってきたかを話したいんですが、「Child of Eden」のケースでいくと、この作品は歌詞、というより詩から制作をスタートしています。つまりシナリオではない、ポエムを石原くんが読み解いて2000〜3000枚の絵にするんです。

その絵をもとにして実際にPS3の中で、「リアルタイムにこうして、ここをシュートしたらどうなる」とか、「これが音と融合したときに、起こる新しい表現はどういうもの?」といった手触り感のある実験をしながら、みんなでどう感じて何に使えるかを延々と繰り返して考え、やりたい表現を重ねていったんですね。

デザイナーが作ったものではなく、プログラムアートに近いものもあって、音をトリガーにしてビジュアルを変化させるエンジン作りもやっています。音に合わせてパーティクルの色が変化するものなどが、ある程度オートマチックに動いていたり。

この色を変えていくと気分が変わるといったことを、パラメーターをいじりながら何度も手触り感を確かめて、どうやったら人が感動できるような共感覚的な表現や体験ができるのかということを検討していきます。

Kinectの実験をしたり、レイテンシーが0.1秒くらいの間に入ってこないと気持ちよくはないので、Microsoftの人に調整してもらってどう早くするかを検討したり、触覚はまだHDがなく仕方ないので電気的な信号で振動させるよう、コントローラーを4〜8つ体に巻きつけたらどうなるか試したり、自分で勝手にシナスタジア・スーツみたいなのを作って実験していましたね。

共感覚的な表現や体験作りの極意

水口:

と、ここまでが2016年以前の話ですね。ちょっと2人の思い出話も聞きたいんですが……石原君は「Rez」のときは高校生だったんだよね。

石原孝士氏(以下、石原):

はい。高校生のときに水口さんが出演されていたTVドキュメンタリーで初めて存在を知りました。

水口:

TVでは怒ってばかりですみません(笑)。でも、高校生の石原君がある意味TVにだまされてくれて、その後「僕ももっとそういうことをやりたい」って「Child of Eden」のプロジェクトから本格的にうちに来てくれて。

石原:

ゲームの絵をたくさん書いたりしていましたね。

水口:

その頃に武藤君も元気ロケッツのリミックスを手がけながら、「Child of Eden」でゲームプロジェクトに入ってくると。

武藤昇氏(以下、武藤):

最初はゲームのリミックスを集めていて、元気ロケッツのリミックスを出したところ、水口さんに気に入ってもらって、そこから元気ロケッツプロジェクトをしつつ、「Child of Eden」の制作にも少し関わっていったと。

水口:

今日のテーマは「共感覚的な体験を、どうXR空間に作っていくか」という話ですが、石原君はディレクターで、武藤君はサウンドディレクターとコンポーザーもやっていて、日常的に「共感覚的な表現や体験を、どうやって作るのか」という話をよくするじゃないですか? で、本当はどう思っているのかな?というのを聞きたいですね(笑)。どう困っていて、どんな風に何かを越えようとしているのか、みなさんに役立つ話をお願いします。

石原:

そうですね。僕がよく考えるのは、ゲームデザインの部分とビジュアルとサウンドのバランスですね。通常のゲームだと、音楽がおまけ要素な感覚だったり、ビジュアルはすごい派手だけど、ゲームデザインが難しすぎるケースがあります。

そのバランスはゲームタイトルによって違いますが、水口さんの作品や「Child of Eden」は、その3つの要素が均一に取られていると思っていて。

水口:

3つの要素というのは?

石原:

「ビジュアル」と「音楽」と「ゲームデザイン」ですね。「ゲームデザイン」というのは、操作性や体験のデザインのことを意味します。

その3つの要素のバランスがしっかりとれないと、共感覚的にならなくて、例えばゲームの操作が難しかったら音楽が頭に入らないし、ビジュアルが派手過ぎても音楽が入ってこない。何かを得ると何かを失ってしまうことがあるので、どの要素も失わないように同時に3つの気持ちよさが入るよう、バランスを取る必要があって、そのバランスをとって初めて気持ちのよい体感に変わると思います。

水口:

そういえば元気ロケッツの時に、DJの宇宙服に入ったのは武藤君だったね(笑)。武藤君にも聞きたいんだけど、2016年以前のDJって音楽のトラックを変えながら、曲をつなぐっていう、ものすごいたくさんのレイヤーの中で、音を一つひとついじりながら、たくさんの層状になっているものを再生しつつ、リアルタイムで演奏に近いことをやっていたけど、今そのトレンドは変わってきていると思うのね。

僕らの作るものも音楽を上に乗せる。ゲームの上にかぶせるって話から、どんどんバラバラに量子化して、紐づけて何かを感じるってことにシフトしていっているけど、そんな中で武藤君は何か考え方の変化はあった?

武藤:

考え方は変わりましたね。以前は基本的に音楽のことしか考えておらず、音楽を作って、映像に渡すといい感じに仕上げてくれるという考え方だったんです。

でも、3Dやホログラムの技術が出てきて、音と映像の体験は密接に関わり、つながらないと、気持ちよくないなと感じ始めて。今はみんなと話して作っていくうちに、ものを作る時はすべてをトータルで考えて音を作らないといい体験には仕上がらないと感じます。

水口:

昨日GOROmanさんが基調講演の時に、Rolandの「SC-88Pro」を持ってきて、MIDIの話をしてたけど、我々は今でも体験と別の体験をつなげるときの信号としてMIDIを多用しているよね。

音の質感をビジュアルにどう移植できるか。それを触覚に変えたときに、どういう風に気持ちよさを作れるのか。それが昔に比べると解像度とか、細かく分解できる粒度が上がって作れるようになってきた感じはするよね。

2016年VR元年到来。2Dから3Dへ進化を遂げるXR体験


(左はシナスタジア・スーツを着用した画像)

というところで、2016年以後の話。ここからいよいよXRっぽくなっていきます。2016年にようやくVR時代が来るってことで、昔作った「Rez」をVRに特化した「Rez Infinite」を作ることになります。

4Kとか8Kでリマスターしつつ、まったく新しい「エリアX」ってステージを作って、パーティクルと音楽を連動させ、音楽や音を見るような体験、VR空間の3Dの中で立体で見られることをやり始めるわけです。

僕らの特徴は、「スローモーション・マルチタスキング」といって、すごくスローモーションでゆっくりといくつかのプロジェクトをマルチタスキングでずっとやり続けるんですね。

僕と石原君は「Rez Infinite」を作っているときも「スローモーション・マルチタスキング」を実践していて、10〜20%「Rez Infinite」、20%「テトリスエフェクト」をやりながら、同時に他のアイデアや作品に関しても、将来いつかできるかもと考えながらやっています。石原君、思い出すものありますか?

石原:

そうですね。「Rez Infinite」をやっていた頃は、僕自身がVRコンテンツを体験したことがなくて、「Rez」を遊園地のアトラクション的な体感に置き換えたらどうなるか?とイメージしながら絵を描いてましたね。

水口:

当時僕は石原君に多くのダメ出しと、ひどいことを言った気がするんですけど(笑)。この場を借りて、ごめんなさい(笑)。

まぁ、でもたくさん絵を描いたよね。「Rez Infinite」は物語とも密接に関わったパーティクルだけで量子化された世界なんです。クラウドのサイバースペースに存在する、ウィルスにおかされたデータを浄化するというプレイヤーのミッションがあって、浄化するときの気持ちのいい音やエフェクトが連続して世界をかたち作りながら、クライマックスに向かいます。

前作の2001年の「Rez」は完全なレールガイドだったんですね。レールの上を乗っかって音楽にあわせて、いろんなものが出てくる中で、自由度のある符号が動いてアタックして音がとともにゲームが進行するのですが、「Rez Infinite」は、それを完全なフリーワールドにしました。どんな経路でどこに行ってもよくて、その動きの連続を音楽化するというチャレンジだったんですよね。

音楽ってほんと不思議で、音楽的につながると全部OKになって、最後全部持っていっちゃうところがあって。ゲームはいつもそうなんですが、音楽に力が宿らないと、おもしろく、気持ちよく、楽しいとはならなくって。音の力が最後に掛け算になるところがあります。

2016年に僕が初めてVRで「Rez Infinite」を体験した時は、実際のゲーム画面の中に自分が入っていて、思い描いていた世界が360度存在しているということに、あまりに感動して、さすがに涙が止まらなかった。

水口:

改めて聞いても、いい曲ができましたね(笑)。始まりの歌がないところから、だんだん音が入ってオペラ的になって、まわりが音楽に合わせて動き始め色が変わったり。バラバラだったものが共鳴する際の鳥肌が立つ感じは、どの国の人でもわかる感覚なんですよね。本能的に深い感覚が体験の中に入っていればいるほど、グローバルにつながる力を持つ可能性があるんです。

「その体験で得られるものは何?」という報酬の話がありますが、例えば点数が手に入る、ゴールに向かう、お金がもらえるとは違うところにある、気持ちがいい多幸感といった感覚も報酬なのではないか? と信じてやっています。

その2年後の「TETRIS EFFECT」も3年ぐらい議論し続けましたね。ストーリーも音楽も必要ではないテトリスで、それをどう必要なものに変え、体験をぜんぜん違うものに変えるアップデートには、何が必要なのか? と石原君といろんなアイデアを検討しました。

ステージでこの音楽をこうするとどうと議論しながら、ずっとイメージをし続けると、頭の中で体験ができ始めるんですよね。そして、いよいよ頭の中で動かしたくてしょうがなくなるんですけど、それでも僕らはゲームを作らず、ビデオを作ったりしてるんです。そして、いよいよインタラクティブに触りたいというフェーズまでいってから、やっと制作が始まるんです。

こうなると、イメージがかなりできあがっているので、意外とここからは早いんです。僕らはいつも15〜18ヶ月で作ります。

水口:

いい曲だね、武藤君(笑)。

武藤:

ありがとうございます(笑)。

水口:

石原君も隣で感じていると思うんだけど、武藤君のここ数年の成長は著しいよね。多分自分で言わないから言うけど、去年の米国最先端テクノロジーの祭典「SXSW(サウス・バイ・サウスウエスト)」ゲームサウンド部門のグランプリを取ったんだよね。

武藤:

はい、とりました。

(会場から拍手)

水口:

調子に乗るなよ!(笑)。でもね、本当にいい曲ができました。

実際のゲームの画面を見ると、「どう融合させてデザインするか」がピアノの音だけでもわかるんですけど、例えばピアノを弾いたことがない人でも、うまいピアニストになったような気分になれるジャズピアノの音が乱れ打ちになるというのを作ってみたり。

僕らが気にするのは「その音には本当に力があるのか?」ということで、音の力がビジュアルと絡み合って、気持ちに効いているかを議論します。「この音違くないか?」など、細かいところまでずっとチューニングし続ける感じです。動く彫刻を作る感覚で、すごく楽しいけれど、根気のいる作業です。

でも、1〜2時間でもずっとゲームをやり続けたいと感じてもらうためには、その作る過程にこだわらないと、力が宿らない気がするんです。適当に作って流したものって、やっぱり力がなくて。僕らは「音を置きにいくな」とか「絵を置きにいくな」って言うんですけど。

つまり、適当に音やビジュアルを配置するのはやめてね、と。必ずそこに機能や意味を持たせることで、力が生まれるし、それを積み上げるとハーモニーと体験の熱量があがると思っています。

XRで感覚を連動。共感覚的な統合体験をもたらせ

水口:

ざっと他の話もすると、僕らはシナスタジアラボで、いろんな複合感覚を束ねて、共感覚的な体験として、多幸感や心の豊かさを作れないか?ということを目指しています。

シナスタジア・スーツ」の開発や、大きなスケールの広い空間で、身体性のある体験をやりたくて、宇都宮の北にある大谷石採掘場の跡地でメディアアートの実験もやりました。頭の中ではARのイメージなので、早くグラスの時代が来てほしいですが、その未来も遠くはないのかなと。

あと「シナスタジアX1 」で椅子を作ったり、2個のスピーカーがあって、44個の振動素子をバラバラに動かして、音の信号を入れて、全身で音楽を包み込む体験をするとどうなるのかと、今いろんな展開を実験してデータを取っています。

シナスタジア、つまり 「共感覚」というのは、100年前のアーティストがよく使っていた言葉なんです。例えばカンディンスキーは、一日中モスクワの街を歩き続けたときの音の印象を絵に描いてキャンバスに残しました。ボッチェリというイタリア未来派の画家は、サッカープレイヤーのダイナミズムをとらえて、一枚の絵にしています。

現代はカンディンスキーやボッチェリが感じたことを、体験に変えるテクノロジーを持っていて、僕らもシナスタジアエンジンの開発を続けながら、共感覚的に感動できる表現や体験を作れないかということをしています。

最近になって確実に変わってきたことがあるんです。SXSWのときに「Rez Infinite」をプレイした直後の女性の反応が印象的で、ゲームを遊んで「わぁーっ」てすごく驚いた反応をしたり、VRで泣く人も出てきたり。人々の感じる力が、強くなってきたなと肌で感じています。

だから我々はもっとすごいところへ行けるし、もっといろんなことを知りたいし、知らなければと思うんです。


(Enhanceの会社の壁。いろいろ書かれている)

最近はゾーンやフローのメカニズムについてもリサーチしています。リラックスとストレスを行き来しながら、真ん中に行くと非常に集中度が高いとか気持ちのいいゾーンに入っていくといった、空間、身体や意識からいろんなシナスタジアが考えられるなと。


(ゾーンやフローのメカニズム。パフォーマンスと覚醒などをあらわす図)

また、最近は「感覚は五感だけではない」と強く思っています。

五感と言ったのはアリストテレスで、彼は「共通感覚」とも言ったんですが、感覚の定義が曖昧なまま、バラバラな五感として進化させて2000年くらい経っちゃったんですよね。


(アリストテレスが提言した五感は、その後2000年疑われることなく言葉として定着)

僕らは統合の世界に生きていて、バラバラの五感だけの世界に生きていないので、弊害が起きているんですよね。僕はXRの時代に大きく実現することのひとつが「統合体験をもたらすこと」だと思っています。

では、感覚の数はいくつあるか?というと、シュタイナーは12感覚と言っています。彼はとくに触覚のことを異常に重要に感じていました。研究者によっては、10感覚とか21感覚とか33感覚といろんな説がありますね。

誰でも共感覚は持っていて、例えば瓶を撫でた時に冷たいと感じますが、実際に手の温度が下がっているわけではない。このみんなが持つ連合感覚のことを、先天的な共感覚という人もいます。数字から色が見えるとか、後天的な想像力も含め、感覚の連動による体験は、深く脳に刻まれるので、もっと深堀りできると思っています。

ゲームが非常に長く続いて、拡大し続けているのにも理由があるんです。音楽って何回か聴くと飽きますが、おもしろいゲームは何回やっても飽きないですし、スーパーマリオの「タタッタタラッタタ」とか、体験に紐づく記憶というのは、結構消えないし、体験というのはそういうものなんです。

アート、サイエンス、文学の分野でも例えばプルーストの 「失われた時を求めて」という小説は、紅茶とマドレーヌが混じった時のにおいから、何百ページという小説が生まれています。そう考えると我々の感覚って分断されてないんですよ。僕たちは50ぐらいそういった感覚があると見ています。


(Enhanceがとらえている感覚だけでも50はあると水口氏)

時間の感覚はありますが、五感から来ているわけではないし、バランスや平衡感覚、リズム感覚も五感ではないですよね。能力か感覚かというのはありますが、僕らはそれを感覚としてとらえていいんじゃないかと思っています。

深い感動は単一の感情で起きてはいないんですよ。複数の感情が押し寄せていて、オーバーフローしそうになるときの混乱と感動の体験をどう作っていくかが求められていると思います。

最後になりますが、これからゆっくりと情報の時代が終わり、いよいよ「体験の時代」が始まります。リアルタイムに体験の送受信やシェアができ、2次元の四角いフレームの時代は終わって、空間的な体験のデザインになります。

すべてがスキャン化し、1人称と3人称も溶けたフュージョン型になっていくと思います。つまりゲームが映画化し、映画がゲーム化する。そして真ん中に完全に新しいジャンルがでるといったパターンもあると思いますね。


(「情報の時代から体験の時代へ」ヴィジョンを示した図)

これから15〜20年で解像度を高めるといった技術的な臨界点を迎えたときに、その先の進化は、感覚移入ではなく「感情移入」に向かうと思います。それまでにどれだけ多くのものを蓄積できるかが大切です。そして、感動、心の豊かさ、多幸感、ユーフォリアなど、エモーショナルなエキサイトメントをどう体験として作っていくのか?

今これから一気に加速するテクノロジー進化に、僕らがくっついていけるかどうかというタイミングに来ています。活版印刷発明以来、600年ぶりの大きな革命が来ると信じていきましょう。

最後に僕らは今20人ぐらいでやっていて、一緒に時代を切り開いていけるコアメンバーを常に募集していますので、興味のある方はどうぞ。

(了)


VR/AR/VTuber専門メディア「Mogura」が今注目するキーワード