2017年5月20日・21日に、東京大学で五月祭が行われました。本記事ではその中の企画の一つ、公開講座「憧れを現実に変える -VRの仕組みと応用-」のレポートをします。
登壇したのは、東京大学大学院情報理工学系研究科 廣瀬・谷川・鳴海研究室所属の鳴海拓志氏。
氏はVR技術と認知科学・心理学の知見を融合したクロスモーダルインターフェース(※)や、人間拡張技術などの研究に従事しています。
※クロスモーダル現象……ある感覚から、別の感覚の情報を補完して認知・解釈するという、人間の感覚が持つ特性。たとえば腹話術では、実際は人間の口から音が出ているのに、見た目の情報（人は黙っており、人形の口が動いている）につられて、人形がしゃべっているように感じる。これは視覚が聴覚に影響を及ぼしている例。
（関連記事）
【体験レポ】曲がっているのに気づかない、VRでまっすぐに歩ける『Unlimited Corridor』
http://www.moguravr.com/unlimited-corridor-vr-repo/
「人間を知るためのVR」『Metamorphosis Hand – えくす手 -』制作者 小川奈美氏インタビュー
http://www.moguravr.com/metamorphosis-hand-interview/
0. VRとはどんな技術のことか
「バーチャルリアリティとは、物理的には存在しないものを、感覚的にはそこにあると感じさせる技術です」
鳴海氏はまず、VRとはどのような技術なのか説明するところから始めました。VRは現実の体験のエッセンスを抽出し、それを五感情報として呈示することで人工的に現実感（現実らしさ）を引き起こす技術だ、と氏は語ります。
「2016年は「VR元年」と言われることもありますが、研究者の間では「VR Ready 元年」という認識です」と氏は言います。かつて高価で一部の人しか手が届かなかった技術が、安価で家庭に普及し始めた年、それが「VR元年」なのです。
「バーチャルリアリティ」という単語が生まれたのは1989年のこと。アメリカのVPL Research社が独自のVRHMDとグローブ型デバイスを発表した際に使ったのが始まりです。
VPL Research社の「The Eyephone」と「The Data Globe」（1989年）
ただし、VRHMD研究の始まりは、さらに1960年代にまでさかのぼることができます。CGの父とも称されるアイバン・サザランドが、世界最初のヘッドマウントディスプレイを開発したのは1968年のこと。この技術が進化を重ね、現在のOculus RiftなどのHMDに繋がっています。
1. 感覚を変える
鳴海氏はここから、自身の関わった研究を手掛かりに、現在VRの研究者がどのような研究をしているのか説明しました。
Magic Pot
これは「Magic Pot」と呼ばれる作品。見せる映像によって、触っているものに感じる「形」が変化してしまうというもの。
ディスプレイの後ろにあるのは普通の形の円筒ですが、ディスプレイにはコンピュータによって変形された円筒が表示されます。これによりたとえば、物理的にはへこんでいない・ふくらんでいない部分を触っていても、映像につられて「へこんでいる・ふくらんでいる」と感じてしまうのです。
（関連論文）
「手の動きの空間変調による形状知覚操作」、伴祐樹、鳴海拓志、谷川智洋、廣瀬通孝、日本バーチャルリアリティ学会論文誌、Vol.17 No.4、pp.457-468（2012.12）
[wc_row][wc_column size=”one-half” position=”first”]
[/wc_column][wc_column size=”one-half” position=”last”]
[/wc_column][/wc_row]
出典 Yuki Ban, Takuji Narumi, Tomohiro Tanikawa and Michitaka Hirose. “Displaying shapes with various types of surfaces using visuo-haptic interaction.” Proceedings of the 20th ACM Symposium on Virtual Reality Software and Technology. (pp. 191-196), ACM, 2014.
このような疑似的に触覚を生み出すことができる技術は、さまざまな用途に応用が可能だといいます。たとえば氏の属している廣瀬・谷川・鳴海研究室では過去に、触れられない展示物に疑似的に触れる感覚を呈示するシステムの制作などが行われました。（複合現実型デジタル・ミュージアム）
Unlimited Corridor
次に紹介されたのは、曲がっている壁を触覚的に「まっすぐだ」と感じさせることで、VRの中で無限にまっすぐ歩き続けることができる「Unlimited Corridor」。
この研究はたとえば、狭い部屋の中で広く動き回ることができる技術へ応用が可能です。
「無限回廊」とも呼ばれるこの作品は、文化庁メディア芸術祭 エンターテインメント部門にて優秀賞を受賞しています。またこれと類似して、現在は無限に階段を上り続けることができる「Infinite Stairs」というシステムも開発されています。
（関連論文）
Keigo Matsumoto, Yuki Ban, Takuji Narumi, Yohei Yanase, Tomohiro Tanikawa, and Michitaka Hirose: Unlimited Corridor: Redirected Walking Techniques using Visuo Haptic Interaction, SIGGRAPH 2016 Emerging Technologies, July 2016.
（関連記事）
【体験レポ】曲がっているのに気づかない、VRでまっすぐに歩ける『Unlimited Corridor』
http://www.moguravr.com/unlimited-corridor-vr-repo/
Meta Cookie
続いては味の研究です。
こちらはヘッドマウントディスプレイを通してみることで、普通のクッキーの見た目を「チョコレートクッキー」や「いちごクッキー」に変化させ、さらに同時にその見た目に合わせた香りを呈示することで、感じる味が変化するという「メタクッキー」。
（関連論文）
鳴海拓志、谷川智洋、梶波崇、廣瀬通孝、「メタクッキー：感覚間相互作用を用いた味覚ディスプレイの検討」、日本バーチャルリアリティ学会論文誌、Vol.15、No.4、pp.579-588 (2010.12)
見た目と味の関係
「同じものを食べ続けているのに、感じる味が変わる」というこの知見、実は日常生活でもよく体験しているのだそう。
「たとえばかき氷のシロップは、どれも味が同じなのです。イチゴ、メロン、レモン……基本的に入っているものはどれも同じで、着色料と香料だけが違います」と鳴海氏。
また鳴海氏は「URCF クロスモーダルデザインWG」という、新しい種類の五感技術の将来展望を議論する会の幹事も務めています。講演では、そのワークショップで参加者に配られた液体についても触れられました。
出典 【開催レポート】第十二回クロスモーダルデザインWS「感覚の減算で作る新しい体験」
目を開けた状態で飲んでみると「ナス」や「きゅうり」の味だと答える人もいるそうですが、目を閉じてこれを飲んでもらうと、ほとんど全員が「トマト」と答えるのだとか。このスープの正体は「トマト」で、これも見た目につられて味が変化してしまう一例です。
このように、ある感覚（たとえば視覚）が別の感覚（たとえば味覚）に作用する現象を、クロスモーダル現象といいます。
「香り」や「味」の感覚は、視覚や聴覚刺激と比べてまだ、厳密に再現することが難しいのが現状です。しかし人間の感覚のクロスモーダルな特性を利用すれば、まったく同じように「香り」や「味」などを作らなくても、それと感じさせることが可能になるだろう、と鳴海氏は語りました。
「物理的に再現されている世界と、我々が感じてる世界は必ずしも同じではないのです」
脳が勝手に“解釈”をする？
http://www.psy.ritsumei.ac.jp/~akitaoka/catalog.html
たとえば上の錯視では、横棒の部分は2つとも同じ長さですが、下の方が長く見えます。鳴海氏は「脳は現実を再解釈をする性質を持っている」と指摘し、それをうまく使えばVRに応用が可能だといいます。
出典 Ramachandran, V. S., & Hubbard, E. M. (2003, May). “Hearing colors, tasting shapes.”, Scientific American, 288, 43–49.
錯覚以外の認知に関連する面白い例として、鳴海氏は上の「ブーバとキキ」を挙げました。
これは「どちらかにブーバ、どちらかにキキという名前を与えてください」というと、ほぼ全員が右の図形を「キキ」だと答えるというもの。このような音と視覚の関係性は、製品などのデザインにも使えるのではないか、と氏は語りました。
拡張満腹感
続いて鳴海氏が紹介した研究は、満腹感を操作するもの。
「拡張満腹感」は、ものを大きく（小さく）見せれば、食べる量が変わらなくても、すぐにお腹いっぱいになる（いつもよりたくさん食べられる）という研究です。「同じ量を食べてください」という指示にも関わらず、見た目につられて食べる量が無意識のうちに変化してしまいます。
（関連論文）
鳴海拓志，伴祐樹，梶波崇，谷川智洋，廣瀬通孝:「拡張満腹感：拡張現実感を利用した食品の見た目の操作による満腹感のコントロール」, インタラクション2012, Mar.2012.
テーブルトップ型拡張満腹感
先の「拡張満腹感」を、ヘッドマウントディスプレイなしで実現したもの。これは、食べ物の周りにプロジェクションマッピングで皿を表示するシステムです。
周りを大きなものに囲まれると、中のものは小さく見え、逆に周りを小さなものに囲まれると、中のものが大きく見えるという現象を利用し、満腹感を操作することができます。
視線追跡技術も用いて、被験者が皿を見ていないとき、食べた量に応じて表示される皿を小さくすることで、「いくら食べても皿いっぱいに食べ物がのっている」状態にします。食べても食べ物が減っていないような感覚を引き起こし、通常より少ない量で満腹感を得ることができるようになるのです。
（関連論文）
Sho Sakurai, Takuji Narumi, Yuki Ban, Tomohiro Tanikawa and Michitaka Hirose, “Affecting Our Perception of Satiety by Changing the Size of Virtual Dishes Displayed with a Tabletop Display”, Proceedings of HCI International 2013 (Part II), DVD-ROM, Las Vegas, Nevada, USA, July 21-26, 2013
拡張持久力
続いての事例は、「白いものは軽く、黒いもののは重く見える」という現象を利用した研究です。同じ荷物を同じ人に持たせるとき、コンピュータで荷物の見かけの色を変えてやると、「荷物が白いときの方が楽に持てる」という結果が出ます。
氏がこの実験で筋肉の活動量を調べたところ、黒く見えるときは必要以上に（無駄に）筋力を使っている一方で、白く見えるときは黒く見えるときより少ない筋力で（無駄なく）持っていることを解明しました。これにより、荷物を持つ際の持久力に差が出ると考えられます。
（関連論文）
鳴海拓志，伴祐樹，藤井達也，櫻井翔，井村純，谷川智洋，廣瀬通孝: 拡張持久力：拡張現実感を利用した重量知覚操作による力作業支援, 日本バーチャルリアリティ学会論文誌, Vol.17 No.4, pp.333-342, 2012年12月.
2. 感情を変える
扇情的な鏡
鳴海氏は続いて、「感情」に関わる研究も紹介しました。
「扇情的な鏡」は、覗き込んだ人の顔を実際より笑顔にしたり、悲しそうにしたりして表示するシステムです。実際より笑顔に調整された自分の顔を見ると、つられて気持ちも明るく結果が得られています。
氏によれば、心理学的には「悲しいから泣く」のではなく「泣くから悲しい」のだと言います。お化けを見たとき、怖いから鳥肌が立つのではなく、まずお化けを見て鳥肌が立ち、汗が出て逃げた後で初めて「怖かった」という感情が芽生えます。身体がまず先に反応し、意識がそれに理由をつけるように感情を作っているに過ぎないのです。
それゆえ、鳴海氏は「体の変化を先に感じさせてやれば、それにつられて感情が変化する」と続けます。
たとえば「扇情的な鏡」を試着室で使用した実験では、とあるマフラーを試着したときに鏡に映る自分をにこやかにすることで、何もしていないときよりも、そのマフラーを買う確率を高めることができたそうです。
また吊り橋を渡っているときに人と出会うと、吊り橋のスリルに起因するドキドキを、相手への好意によるものだと錯覚し、出会った人を好きになりやすいという「吊り橋効果」も併せて紹介されました。
（関連論文）
Shigeo Yoshida, Sho Sakurai, Takuji Narumi, Tomohiro Tanikawa and Michitaka Hirose, “Manipulation of an Emotional Exerience by Real-time Deformed Facial Feedback”, Proceedings of the 4th Augmented Human International Conference(AH’13), pp.35-42, Stuttgart, Germany, March 7-8, 2013 (2013)
超現実テレプレゼンス
またスカイプのようなビデオチャットでこのシステムを使い、お互いを笑顔にした状態で会話をすることで、議論を活発にさせる効果も実証されています。
このような技術は超現実テレプレゼンスに応用ができる、と鳴海氏。
そもそもテレプレゼンスとは、自分の身体はそこに無くとも、離れた別の場所に「自分は実際にいる」と感じさせる技術のこと。普通テレプレゼンス技術は、「現実ありのまま」を再現しようとしますが、超現実テレプレゼンスは必ずしもそうではありません。
超現実テレプレゼンスでは、実際には笑っていなくても笑っているように見せたり、実際には盛り上がっていなくても盛り上がっているように感じさせることで、「現実ありのまま」でするよりも豊かなコミュニケーションを実現ことを目的としています。
FaceShare
ビデオチャットで自分が笑うと、表示されている相手の画像もつられて笑ったように表示するシステム「FaceShare」。このミラーリング（相手の行動につられて真似をしたくなる同調）を利用して、コミュニケーションを促進することができます。
（関連論文）
Keita Suzuki, Masanori Yokoyama, Shigeo Yoshida, Takayoshi Mochizuki, Tomohiro Yamada,Takuji Narumi, Tomohiro Tanikawa, Michitaka Hirose: FaceShare: Mirroring with Pseudo-Smile Enriches Video Chat Communications, CHI2017, May. 2017.
目玉アバター
どこから見ても「目が合っている」と感じられる目玉。話を聞くとき、相手と目が合っている場合はその人の話を集中して聞く傾向があります。
Yuki Kinoshita, Masanori Yokoyama, Shigeo Yoshida, Takayoshi Mochizuki, Tomohiro Yamada, Takuji Narumi, Tomohiro Tanikawa, Michitaka Hirose: Transgazer: Improving Impression by Switching Direct and Averted Gaze Using Optical Illusion, HRI2017, Mar. 2017.
3. 自分を変える
「ある身体の特徴を（見かけだけでも）していると、周りからそう扱われるし、自分もそれに合わせて振る舞いを変えます。身体によって心が作られる、ということもありそうです」
そう語り、鳴海氏が最後に取り上げたトピックは「自分を変える」。氏によると、人間は自分の身体が変化しても、それを自分の身体だと認識するための機能が備わっているのだとか。
たとえばペンを持つと、ペン先までが自分の身体であるかのように自由に扱うことができます。また成長とともに身体が変化しても、同じように身体を使うことができています。
ラバーハンド錯覚
氏は最初に、有名な「ラバーハンド・イリュージョン」を紹介しました。
自分の本当の手と、偽物のゴムの手、両方を同時に筆でなぞってやりながら、ゴムの手だけを見るようにしてもらいます。被験者はやがてゴムの手を自分の手と思い込むようになり、ゴムの手に危険が及びそうになると、思わず本物の手を引っ込めてしまうのです。
また過去に行われた研究によると、ドラムを叩いてもらう際、表示する自分のアバターを「黒人でアフロでノリの良さそうな男性」にすると、被験者は動きがダイナミックに、手つきがリズミカルになったといいます。一方で表示アバターを「かっちりとしたスーツのサラリーマン」にすると、手の動きが小さく、リズムもあまりよくなったのだそうです。
「自分はなんであるか」という自己認識が、自身の振る舞いに影響する例です。
（関連論文）
Drumming in Immersive Virtual Reality: The Body Shapes the Way We Play
Konstantina Kilteni, Ilias Bergstrom, and Mel Slater, IEEE Transactions on Visualization and Computer Graphics ( Volume: 19, Issue: 4, April 2013 )
誰でも神プレイできるジャンプアクションゲーム
ある行為に関する予測や結果を操作してやることで、「自分がやった感」を変化させることができるものとして、鳴海氏はUnityの簗瀬洋平氏との共同研究も紹介しました。
「誰でも神プレイできるジャンプアクションゲーム」は、横スクロールでステージを進み、ジャンプの高さをうまく調節しながらボールを取っていくゲームです。
正しい高さになるように調節しなければうまくとることができないという、本来なら難易度が少し高いこのゲームですが、コンピュータによってプレイヤーが気づかない程度の絶妙な「アシスト」がなされることで、「自分はうまくなった」「上手なプレイができて気持ち良い」という感覚が得られます。
同様の例として、過去には「誰でも神プレイできるシューティングゲーム」も開発されています。
「誰でも神プレイできる〇〇」に関しては、『消極性デザイン宣言 ―消極的な人よ、声を上げよ。……いや、上げなくてよい。』（ビー・エヌ・エヌ新社）でも詳しく紹介されています。
（関連論文）
簗瀬洋平，鳴海拓志、誰でも神プレイできるジャンプアクションゲーム， 日本バーチャルリアリティ学会論文誌，Vol.21 No.3, 2016年9月．
また類似の研究には、プロスポーツ選手などがよく行う「ルーティン」（および成功体験）を疑似的に作り出し、スキルの上達を支援するというものもあります。
（関連論文）
田上翔一，吉田成朗，小川奈美，鳴海拓志，谷川智洋，廣瀬通孝，「VRにより生起される擬似成功体験を用いたルーティーンの短期構築手法の検討」，信学技報, vol. 116, no. 150, MVE2016-6, pp. 9-14, 2016年7月.
4. まとめ～憧れを現実にするために～
鳴海氏は、本講演を以下のようにまとめました。
・VRは現実をそのまま再現しようとするのではなく、現実のエッセンスを抽出して再現する技術である
・多くの人は、「VRとは、ゲームで違う世界に行くような、どこか現実と切り離された体験であり、現実には何も持って帰ってこれない・影響がない」と思っているが、そうではない。VRで体験したことは、我々の考え方を変え、現実を書き換えることができる
・VRは、自分が望む現実を作るため、自分がなりたい自分になるためのツールになり得る
「薬と同じように、VRの良い使い方、良くない使い方をみんなで考えていく必要があります」鳴海氏は最後に、そのような提案をして、講演を締めくくりました。
