バーチャルリアリティ(VR)の技術によって、人は錯覚を起こします。このとき、私たちの脳は視覚や聴覚などから受け取る情報によって、ある意味では「騙されている」といえるでしょう。
しかし、考えてみると「脳が騙される」とはどういうことなのでしょうか。VRの原理が「錯覚」にあるとするならば、「いかに効果的に脳を騙すか」という問いについて考えることは、非常に本質的だといえるでしょう。
例えば、手足などの体の部位に関する身体感覚は、脳の中でどう知覚されているのでしょうか。「手足があるという感覚は手足があるから起こるのであって、当たり前だ」―確かにそう考えても不思議はありません。しかし、手足の身体感覚が騙されてしまう事例として、「幻肢」という現象が知られています。
「幻肢」とは、事故や手術で無くなった手足のことを脳が忘れないでいるために、いわば「幻の腕や足」が存在するような感覚に陥るものです。ないはずの手足が「痛む」ということも少なくはありません。
ないはずの手足をあるように感じてしまうという、幻肢のような例を見ていると「『自分の手である』ということが一体どのようなことなのか？」というのは、実は自明の問いではないことに薄々気づいてきます。
『Metamorphosis Hand - えくす手 -』は、自分の手ではないはずの「指の伸びた手」が、あたかも自分自身の手であるかのように感じるという、身体拡張の感覚が疑似体験できるシステムです。実際に体験すると「うわっ、これは自分の手なの？」と驚きの声をあげてしまうような、言いようもない「むずがゆさ」「気持ち悪さ」を感じるようなVR作品で、ここでも幻肢の例を見たときと同じような「自分の手である」ということの意味を考えさせられます。
Youtube参考リンク：えくす手／Metamorphosis Hand
本記事では、この『Metamorphosis Hand』を制作した、東京大学大学院学際情報学府 廣瀬・谷川・鳴海研究室 修士2年の小川奈美氏に、現在の研究内容、そして今回の制作の背景について話を聞きました。
（聞き手：Noah、すんくぼ）
身体所有感、行為主体感とは？
――小川さんは、今どういうことを研究しているんですか？
- 小川
- 身体所有感(Body Ownership)とか、行為主体感(Sense of Agency)といったテーマで研究をしています。「身体所有感」というのは、簡単に言えば「自分の身体であるという感覚」で、認知心理学の分野でよく使われる言葉です。私たちは、自分の身体というものを普段意識せずに暮らしていますが、自分の認識している「身体」への認識って、意外と簡単に揺らいでしまうものなんです。
――自分の身体であるか、そうでないか、がわからなくなる、ということですか？
- 小川
- はい。有名な例としては、「ラバーハンド錯覚(The Rubber hand illusion)」という現象があります。ラバーハンド錯覚の実験では、自分の手を隠した状態で、ゴム手袋だけを見ながら、自分の手とゴム手袋を同時に筆でなぞられます。すると、頭の中では「ゴム手袋は自分の手ではないな」とわかっているのに、ゴム手袋があたかも自分自身の身体であるかのように感じる……という、不思議な感覚が生じます。これが、ラバーハンド錯覚です。
出典：Rubber hand illusion(YouTube)
――自分の手ではないものなのに、あたかも自分の手のように感じる……。この「自分の身体だ」という感覚が、「身体所有感」なわけですね。『Metamorphosis Hand』も、身体所有感がテーマですか？
- 小川
- そうですね。『Metamorphosis Hand』では、「手の見た目をどんどんありえないものに変えていったときに、どこまで身体所有感は保たれるのだろうか」ということが試してみたくて。自分の手と同じように動けば、身体所有感は上がっていく。その一方で手の指はとても長くなっているので、自分の知っている「自分の手」とは見た目が全然違うという状態で、「わたしの手なのに、わたしの手じゃない」というような、なんともいえないアンビバレントな感覚が生まれるのではないかと思いました。
――「わたしの手なのに、わたしの手じゃない」。ラバーハンド錯覚や『Metamorphosis Hand』では、この感覚が人工的に作り出されていますね。
- 小川
- はい。VRというと、ふつうヘッドマウントディスプレイ(HMD)をかぶって体験するようなものを想像すると思うのですが、私はラバーハンド錯覚のようなものも「バーチャルリアリティ」だと思っています。「自分の身体である」という感覚のメカニズムを調べ、人工的に感覚を創りだす。こういう技術って、まさにVRですよね。
――もう一つの、「行為主体感」についても教えてください。
- 小川
- 「行為主体感」というのは、「この行為を引き起こしている主体はまさに自分だ」という感覚のことです。「身体所有感」と「行為主体感」って、全然別のものに聞こえるかもしれませんが、実はすごく関連があるんですよ。自分の身体がまさに「自分の身体である」という感覚は、自分が身体を使って世界に働きかけて、それによって世界が変わって……というように、行為によって、外部の世界とインタラクションする中で獲得されるものでもあるからです。
――例えばこうやって（手を前に出してペットボトルをつかむ動作）、自分がペットボトルをつかむ動作をしてみて、実際にペットボトルがつかめたとき、「ああ、自分の手がここにある」と、そういう感覚になったりとか？
- 小川
- そうですね。そうした自分の行為から予測する「この行為を実行すると、自分の身体はこういう位置でこういう状態になるだろうから、こういう身体感覚がくるだろう」という、「身体感覚の予測」と「実際の身体感覚」とが一致していることで、行為主体感が生まれます。現実世界だと、この２つが一致しないことはほとんどないですが、VRのように人工的に感覚を作り出してやる世界だとそうもいかなくて、たとえば自分の入力に対して遅延があったりとか、思ったとおりに反応しなかったりとかすると、世界で起こるイベントと、自分とがうまく紐付かなくなるんです。VRでもそういった「行為主体感をいかに作りこんでいくか」というアプローチで、リアリティを高める方法もあると考えています。
フィードバックの重要性
――身体所有感や行為主体感は、うまく仕組みを知ることによって作りだせるというわけですね。脳の判断には、どんな要素が関わっているんでしょう？
- 小川
- たとえば、フィードバックの「遅延」は重要な項目の一つです。ある行為をしたときに、フィードバックの遅延が大きすぎると、その行為とフィードバックは対応づいていない―つまり、「自分の行為の結果じゃない」と脳が判断してしまいます。UIやUXの分野では、明治大学の渡邊先生の『融けるデザイン』という本で、「カーソルは身体の延長であり自分の一部なのか？」という問いが紹介されています。
――カーソルって、あのマウスのカーソルですか？
- 小川
- はい。カーソルを動かしているときには、マウスの動きに合わせてカーソルが遅延なく動くため、画面上のカーソルが「自分のカーソルだ」という認識が生まれます。しかし、マウスの動きとカーソルの動きに遅延を入れてやると、カーソルが勝手に動いてしまっているような感覚になり、「自分のカーソルだ」という認識がなくなります。
――「即座のフィードバックがある」ということが、身体所有感や行為主体感をつくるのに重要なわけですね。
- 小川
- フィードバックが重要だというのは、特に行為主体感のほうでよく言われますね。例えば、自分で自分の体をくすぐっても、あまりくすぐったくならないじゃないですか。
――確かにそうですね。
- 小川
- 自分が「くすぐる」という行為をした場合には、予測ができています。だから、そのあと入ってくる「くすぐったい」という感覚を、自分の中でそう感じる前にキャンセリングできてしまうので、あまりくすぐったくならない。ところが、他人にくすぐられると、フィードバックの予測ができないのでくすぐったくなるわけです。
――ふむふむ。
- 小川
- ただ、自分が自分をくすぐる時でも、そこにいくらかの遅延を入れてくすぐった感覚が自分にフィードバックされる仕組みをつくると、自分でくすぐってるのに、くすぐったく感じるんですよ。
――なるほど。フィードバックに遅延をいれ、予測不可能性を上昇させることによって、行為主体感も変えることができるわけですね。奥深い……。
『Metamorphosis Hand』制作の背景
――『Metamorphosis Hand』では、体験したお客さんがどういう反応になれば意図した結果といえるんでしょう？
- 小川
- 違和感が出せれば成功だと思います。「気持ち悪っ！」って言ってもらえれば成功かな、と(笑)。体験してもらったときに「これって、私の手なんですか？」って聞いてこられる人が結構多いんですよね。それに対して、逆に「自分の手だと思いますか？」みたいに聞くと、「たしかに、どこまでが自分の手で、どこからは違うのかってすごく曖昧ですね」なんて返ってきたりして。そうやって、体験した方に「身体とは何か」を考えてもらうことで、アートとしての目標は達成しているんだと思います。
――今回工夫した点を教えてください。
- 小川
- 『Metamorphosis Hand』では、Leap Motion(※)を使って手の位置や動きをトラッキングしているんですが、それだけではあまり細かな指の動きは検出できないので、電子キーボードからの情報も組み合わせることで指の動きにうまく補正をかけています。また、指が伸びているときには、実際に触っている鍵盤のキーと視覚的に触っている鍵盤のキーとが違うものになるわけですが、重要なのはキーを押し込んだときの触覚のフィードバック自体であって、位置がずれていることは鍵盤を押していてもあまり気づきません。
（※）Leapmotion社から発売されている、手のジェスチャーによってコンピュータの操作ができるデバイス。赤外線センサーを搭載し、手や指の位置をトラッキングしている。VRの中で手を動かすためのデバイスとして使われることも多い。
プログラム自体はゲームエンジンのUnityで作っているので、ヘッドマウントディスプレイ(HMD)にもすぐに対応させることができるのですが、HMDではなく装置は敢えて一から作りました。HMDをつけている本人しか面白くなくて、周りの人から見ると何やってるのか分からない……となるのが嫌だったので、体験者以外にも体験の面白さを同時に共有できる形にしたくって。「HMDじゃなきゃVRじゃないんじゃないの？」って思う人もいると思うんですが、HMDはVRを作り出す一つの手段でしかなくて、HMDで実現されるような空間性・奥行き感と、今回フォーカスしている身体所有感は別の次元だと思うんですよね。前者が「世界を表現するもの」であるのに対して、後者は「自己の表現」ですから。もちろんそれらがインタラクティブに作用し合っているので、完全に分離可能ではないですが。
人間を知るために
――HMDで表現される空間性・奥行き感が「世界を表現するもの」であるのに対して、今回の『Metamorphosis Hand』で表現した身体所有感は「自己の表現」なんですね。もう少し、詳しく教えてください。
- 小川
- HMDの基本原理は、人間の視覚の奥行きを知覚するメカニズムをもとにして立体感を出すというものですが、それによりリアリティの一要素である「空間性」はすごくリアルに、自在に作り出せるわけです。しかし、実際の現実世界では空間だけではなくて「自分」のリアリティも存在しています。VRの空間にどう「自分」のリアリティを存在させるかというのはまだまだ未開拓で、そちらに私は興味があります。さらに、それを調べることって、実は「自己とは何か？」といった哲学的な問いにも繋がるんです。そういった、工学と心理学、あるいは哲学との境界領域で、「知る」ことと「作る」ことのループを回していくことが面白いと思っています。
――「人間の認識の仕組みを知る」そして「VRでリアリティを作る」。これを往復するためには、工学的な知識だけではなく、心理学的な知識も重要になってきますね。
- 小川
- はい。私は学部時代に実験心理学を専攻していたので、それをVRの研究にも取り入れていきたいと思っています。心理学と一口にいってもいろいろな領域がありますが、私は特に、「物理量と感覚量の対応関係を明らかにすることで、ヒトの感じているものを科学的・客観的に捉えられるようにする」という「心理物理学」と呼ばれる学問分野の研究室にいました。
――それはまさに、「人間を知る」という学問分野ですね。VRの開発者はいま、「どうやったら良いVRコンテンツが作れるか」ということを試行錯誤しながら、開発ノウハウを蓄積していくことも多いと思うのですが、そういったノウハウの一部はすでに心理学で研究・解明されていることだったりするのでしょうか。
- 小川
- そうですね。例えば「VR酔い」というテーマでも、「人間はどういうときに、何によって、なぜ酔うのか？」という心理学的な知見を活かすことによって、酔いを軽減する研究がありますよね。酔いに限らず、心理学的な知見を取り入れることで、VRのリアリティ向上を含めた質の改善に貢献できると思います。
※（編集部注）VR酔いに関しては様々な研究が行われており、Mogura VRでも数度にわたってこの問題を取り上げている。
移動時に視野を狭めるVR酔い軽減技術の研究結果が報告
http://www.moguravr.com/vr-yoi-combated/
「VR大好きなんですが超酔うんですが – VR酔いの研究(1) VR酔いの意外な歴史」～白井博士のVRおもしろ相談室 第3回～
http://www.moguravr.com/shiraihakase-vr-omoshirosoudan-3/
――心理学を応用して、「VRを作る」という分野に応用していくという試みは、意義深いことですね。
- 小川
- 元々心理学の実験って、VR的な部分があるんですよ。たとえば、錯視現象を使って人間の視覚の仕組みを探ったり、逆にその仕組みをもとに新たな錯視が生まれたり。
――錯視現象、色々ありますよね！あるドレスが白金・青黒のどちらかに見えるかという話題はだいぶ有名になっていましたね。Twitterでも時々、錯視現象が大量にリツイートされているのを目にします。
- 小川
- 錯視研究では、立命館大学の北岡明佳先生が第一人者として、様々な錯視図形の考案に取り組んでいます。そうした錯視現象を意図的に作る際には、人間の仕組みを知ったうえで図形に応用しています。VRコンテンツも、錯視図形を作る時のように人間の仕組みを理解して作っていくことで、もっと楽に作れるようになると思います。逆に、VRコンテンツを作っていくことで学んでいる部分もあります。
――それは、どういうことでしょう？
- 小川
- VRのコンテンツを作っているときには、最初は思い通りの感覚がうまく作り出せなかったりして、色々と試行錯誤するんです。そうしているうちに「ここのパラメータが『◯◯感』を出すには重要なんじゃないか？」だとかに気づき始めて。
――「○○感」ですか？
- 小川
- たとえば「高所感（高いところにいる感覚）」とかですね。単純にVRで作ろうとすると、意外と難しいんですよ。それで、コンテンツの作り込みの過程で「私たちが普段、『◯◯感』を感じているときにはこういう要素を用いているんだな」ということが段々とわかっていくんですよね。そういう過程の中で、人間自身についての理解が深まるわけです。
――「人間を知る」ためのVR。とてもいい話が聴けたと思います。
- 小川
- 心理学と工学との間には今はまだだいぶ隔たりがありますが、心理実験にVR技術が使われたり、VRの分野でも心理学の知見を取り入れるようになってきたりと、少しずつその距離は近くなってきています。エンジニアが経験則で開発しているような部分を、今後は心理学的な知見を応用して開発したり、逆に心理学的には今までわかっていなかったことを、VRの開発を通じて「人間はリアリティをこういう風に感じているんだ」とわかるようになったりする、と思います。その2つの分野をうまく繋いでやることが、私の使命かな、と考えています。
――ありがとうございました。
心理学的な知見を活用したVR開発の可能性
今回のインタビューを通じて、心理学の知見をVR分野で活用することの重要性を非常に強く感じました。VRのリアリティを高める作り込みは、これまでアカデミックな分野で実証・蓄積されている知見と組み合わさることで、飛躍的に進化できる可能性を秘めています。
また、小川氏の『Metamorphosis Hand』は、VRコンソーシアムが開催した「VRクリエイティブアワード 2016」のファイナリストに選出されています。
VRクリエイティブアワード 2016のファイナリストが発表。SAOや攻殻機動隊など全11作品を紹介
http://www.moguravr.com/vrc2016-finalist/
惜しくも受賞は逃したものの、当日の会場では不思議な感覚に興味をしめし、体験の順番待ちの整理券を持って体験する人が多かったのが印象的でした。
今後も知的好奇心を刺激するような、意欲的な作品を期待するとともに、アカデミックな研究者たちの知見が活かされ、VRの時代が“拡張”されていくことを期待したいと思います。
