「VRで彼女を作っているのですが、なかなかリアルになりません…どうすればいいの?」〜白井博士のVRおもしろ相談室 第1回〜

この度、「VRおもしろ相談室」なる連載を担当させていただくことになりました、白井博士(工学)です。1995年ぐらいから23年ほどVR、特にエンタテイメントVRを研究させていただいており、Mogura VR編集部から「なんか製品情報少ない土曜日ぐらいにユルくてオモシロイ記事が欲しいんですよね…」と依頼されたのですが、どうなんでしょう。“面白い研究”を真面目にやるのが信条なのでどうなることやら。

記念すべき第1回の質問ですが、初回なので編集部からいただいております。
さて…と最初の質問はっと…(編集部からの質問を開く)。

『VR内で“彼女”を作っているのですが、なかなかリアリティが上がっていきません。モデリングなのか、ボイスなのか、フェイシャルアニメーションなのか…何を頑張れば良いのでしょうか?』

えーと(ファイルを閉じる)。

とりあえず、
「質問者さんにはリアル彼女さんはいらっしゃいますか?」
…と書いて、消して。また書いて消して。

ちょっと深呼吸して、厚木郊外の田園に向かって叫びました。
『質問者はこんな当たり前の事を聞きたいんじゃないはずだァーーッ!!』

白井博士

彼女がいない人がリアルな彼女が作れないのは当たり前のこと

 「彼女がいない人がリアルな彼女が作れないのは当たり前のこと」と、まずは当たり前のことを言っておきますね。もちろんそれには理由があります。

(1) 彼女がいる人でもリアルな彼女を作るのは難しい
(2) 何がリアルなのか
(3) 何がリアルを向上させるのか
(4) 求めているのはリアルなのか
(5)「彼女のリアル」とはそもそも何なのか?

 「Virtual Realityにおけるリアルとは何なのか?」CG?インタラクション?いきなり初回から本質をついたような質問じゃないですか。かくいう私も実は触覚で作ったことあります。ゲームエンジンを作る会社を辞めて大学院博士時代に復学した頃は触覚ディスプレイの研究室にいましたので、学生同士で酔っ払うといつもこの話になりました。

 「触覚で触れる女体を作りたい!」

 実際に作ってみました。糸を使った触覚力覚ディスプレイ「SPIDAR」とリアルタイム剛体シミュレータ「Springhead」を使って、等身大サイズの女体を触れるディスプレイを深夜のカッとなった勢いで作りました。当時の動画は黒歴史が強すぎたのか掘り起こすことができなかったのですが、『Dynamo::Taboo』という名の作品で芸術科学会学会誌から賞も戴いたので、いつか出てくるかもしれません。

派手になってしまう

 「Dynamo::Taboo」を作ってみてわかったことは、「理想の肉体」を追い求めて、パラメータを調整していくと、最後には「とっても派手な肉体になってしまう」ということです。いわゆるスリーサイズを「ボーン!キュッ!ボーン!」を目標に作ると、ほとんどの男性が「ボボーン、ギュギュッ!ボボーン!」になってしまうのです。さらにその触覚データを映像で可視化すると、ほとんどの人が「バケモノ…」というありさまです。もちろんこの頃には酔いは醒めています。でもなぜこんなにまでシンボリック(象徴的)になってしまうのでしょうか?

美術の世界でも昔から女性の人体は究極の美

 実は究極の女性の人体を造り出そう!という試みは、あなたが最初ではありません。人類は古代から、いや先史時代からのチャレンジだったのではないでしょうか。例えば古代ギリシャの「ミロのビーナス」はリアルだけどシンボリックな例としてわかりやすいですが、我が国の「土偶」はもっとわかりやすいです。本当にシンボリックな形状をしています。宇宙人みたいです。リアルどころかとてもとても現代の「理想の女性」とはかけ離れています。「土偶は子孫繁栄のための祈りだった」という説がありますが、なぜこんな形をしているのか?という研究は考古学や民俗学の研究者に譲ります。しかし、ちょっと考えてみてください。2000年後の日本人が「なぜ21世紀の初頭にはツインテールの緑色の髪の毛の女性がこんなにもたくさんの歌を歌っているのだろうか?」と不思議に思っているようなものです。そこにはボーカロイドという技術があったから初音ミクという存在があり、それがアイドルとして様々な形で残されているということです。縄文式土器がなぜ縄文模様なのか、ということと技術的背景はとても近いはずです。

記号的な顔とリアルな顔

 現在の映像中心のVRを制作している読者さんにとって、触覚の話はちょっと未来すぎるし、土偶の話は古すぎる、と思うかもしれませんので、シンボリックな表現について、映像の例で説明してみます。今ここに、2つの女性のイラストを用意してみました。

image026

 どちらがリアルでしょうか?どちらも5分以下で描いたものですが、確かに左側の絵は緻密です。スケッチのメソッドに沿ってアタリをつけて「実在の人物を観察しながら」、陰影をしっかりつけて描いたものです。右側の絵は、左の絵を見て、さらに線を減らしながら「本人を思い浮かべながら」描いています。写実として描いた左に対して、右は記号として描いています。モデルになった人物を知らない皆さんにとっては、「リアリティがありそう」なのは左かなとは思いますが、どっちもどっちなのではないでしょうか。

究極の実写映像:ジェミノイドの例

 ではグラフィックスではなく、究極の実写映像、つまりロボット、アンドロイドはいかがでしょうか?石黒浩先生、日本を代表するスーパーリアルロボットの研究「ジェミノイド」は、石黒先生自身だけでなく、女性についても多くのリアルロボットを開発しています。私が昔勤めていた日本科学未来館に行くと、オトナロイド、コドモロイドという超リアルな女性型ロボットが、私が勤めていた職である「科学コミュニケーター」をしております(公式サイト)。石黒先生はこれらの超リアルロボットだけでなく、目鼻しかないロボットや目鼻もないコミュニケーションのためのロボットも開発しています(関連サイト)。石黒先生は「人を理解する」という興味がアンドロイドの開発のモチベーションになっているそうです(動画)。

「不気味の谷」とは何か

 昔はこの手のリアル系ロボットは「不気味の谷」と呼ばれたものです(ロボット工学者の森政弘先生が命名したそうです)。リアリティが増していくと、あるところで突然「不気味!」と感じる谷に落ち、中々リアルさが上がっていかないという感覚的な印象を受けるのです。この現象は、日本だけでなく海外の研究者も興味を持っていて、実験的に検証されています(関連記事)。記号的な顔が徐々にリアルな顔になっていくにつれ「親しみ」や「信頼」が下がるそうです。

表情とその動的変化

 実際には静止画だけでリアルさの評価をするのは難しいと思います。筆者は大学の写真部時代はよく人物を撮っていましたが、カメラマンは人間の表情と表情の間に、非常に高速に変化する表情があることを知っています。写真週刊誌やスポーツ新聞は沢山シャッターを切ることで、記事で伝えたいことに上手く合う表情を選んで記事に使います。

 ロボットの研究では表情筋や表皮の作り込みを頑張っていますが、反応速度も大事ということになります。また、単なる反応速度だけではなく、受けての見え方やスキルも重要です。例えば「なんとなく見ている人」と「作る側にいる人」でもリアリティは随分と変わります。3Dモデリングソフトでリアルタイム用のキャラクターのモデリングをするとわかりますが、人間の顔は手足以上にたくさんのポリゴンを使います。それだけ高解像度で重要な立体物ということです。さらに顔の表面下には表情を伝える筋肉の微妙な動き、加えて、血管、表面の皮脂の反射といった要素が加わります。

 そう、世の女性は「化粧」という技術で日々、この表面の反射係数や頬の赤らみなどを巧みに表現しているということを、男子は知らなければならないでしょう。

演技能力あなどりがたし

 それでは化粧の能力さえあれば、リアルな女性が作れるのでしょうか?実は筆者は若い頃、テレビCMなどが多く所属するタレント事務所に所属していたことがあるのですが、いくら美しいタレントさんでも、演技ができないとお仕事は来ません。CMタレントにおける演技とは「いつでも、記号的な顔を自然に作れること」でしょうね。例えば幼稚園児のような年齢の子役であっても「梅干しを食べた時の顔」や「美味しいご飯を食べる時の顔」などを練習しています。一般に3Dアニメーションで顔のリグを作る時は「a,e,i,o,u」をターゲットとして作りますが、タレントさんの頭の中では、このようなターゲットがたくさん用意されており、状況に合わせて、常に関連する筋肉を制御できるようなトレーニングを積んでいます。これが「演技能力」です。「顔芸」とも呼ばれますが、もちろん静止画に得意な人もいますし、動画で映える演技もありますし、舞台の方が良い顔もあります。VRの場合は視点がユーザを中心に動きますので、首や顔の表現だけでなく、眼球、例えばまばたきや視線のやりとりも重要です。演技用語では「視線の矢を投げる」なんて表現されることもあります。

 動的な演技も重要です。不安な感情でどこかを見つめていた彼女が、信頼感のある相手(プレイヤー)が視界に入ってきた途端、パッと笑顔に変わる……といった演出の基本が、今後のVRのなかでの心を打つ演出技法として役に立つことでしょう。

映像なし、音声リアクションだけで実現するリアル

 なかなか難しい話になってしまったので、筆者の教えていた学生が作った作品を紹介します。『ラブプレス++:俺の嫁にマッサージ』(2010)は、バーチャルに彼女をマッサージするという嬉し恥ずかしい作品ですが、なんと映像がありません。

<動画>

https://www.youtube.com/watch?v=UpFtd13jrqA

 一人の声優さんが3種類の異なるキャラクター設計を持った女性を演じています。サウンドノベルのような作りでもよかったのかもしれませんが、WiiFitバランスボードを使ったマッサージ入力デバイスへの本気具合や部位によって、33種類のボイスリアクションをします。それだけです。それだけですが、体験して見ると「喜怒哀楽+恥ずかしい」という感覚が同時に押し寄せてくるのが特徴で、とても新しい体験でした。東京ゲームショウ2010「センスオブワンダーナイト(SOWN2010)」で発表し、様々なメディアで話題になったので体験した人もいるかもしれませんね。

 本家『ラブプラス』をはじめとした、様々なタッチで遊ぶ彼女系のゲームが一般化した現在では『ラブプレス++』の特徴は見えづらいかもしれませんが、当時の設計モチベーションは従来の恋愛ゲームについての反論、つまり「一方的に異性に対してフラグを立てるのみの作業であるものが多い」というゲームデザインへの反論でした。このままでは恋愛ゲームのプレイヤーは実際の恋愛とかけ離れており「恋愛下手が増えてしまう」と本気で危惧して作った作品です。『ラブプレス++』はこの問題に「身体的シリアスゲームのアプローチ」で取り組み、「恋人同士の身体的コミュニケーションを次世代的に具現化」してしまいました。体を動かし、汗をかき『奉仕』することが、次世代型の恋愛シリアスゲームの愛だと本気で考えて作った作品です。

 このチームはもう一つ、面白い作品を作っています。世界最長の歴史を持つ、国際学生対抗バーチャルリアリティコンテスト(IVRC2010)決勝大会出場作品 「ひとめぼれ実験装置」です。

<動画>

https://www.youtube.com/watch?v=mlqDMKTBq7g

 この作品も恋愛をテーマにしたVR作品で、「ひとめぼれ」を二者択一の異性画像から選んでいくことで生起させるという作品です。バランスボードの上で左右に引っ張られながら運命の相手を探すというシチュエーションです。実験的心理学の世界では「強制選択法」と呼ばれる方法で、たくさんデータを取ることで、そこそこに正しい閾値を探すことができます。ラブプレス++で気づいた「二次元の嫁にはゴールがない」という反省から、一般の展示を通して、一般の方の写真を使って集合知を形成するといった取り組みも興味深いアプローチでした。

 なお『ラブプレス++:俺の嫁にマッサージ』、『ひとめぼれ実験装置』を作ったチームのプランナーの学生は、現在某有名ゲーム会社で世界的にヒットした某有名マゾゲーシリーズのプランナーとして活躍しております。

もはや画像も音も使わない究極の自己愛もある

 『ラブプレス++』プロジェクトの反省にもあるように「2次元の嫁/空想上の彼女」の探求には終わりがありません。終わりがないどころか、展示をしてみると「理想の異性は人によって異なる」という、至極当たり前な結論にたどり着いてしまいます。

 じゃあ「理想の彼女=自己愛なのか!」というアイディアを実現した学生作品が『Senseroid(センスロイド)』です。

<動画>

https://www.youtube.com/watch?v=YirTiwLfIXM

 こちらも国際学生対抗バーチャルリアリティコンテスト(IVRC2010)のファイナリストとなった作品で、様々な「話題の」触覚系研究を行っている電通大の梶本研究室の学生さんによるものです。

 圧縮空気を使った人工筋肉ジャケットを使い、全力で「自分を抱きしめる」ことができます。あんな抱き方やこんな抱き方、理想の抱き方を自分で探求するというVRです。もはや画像も音声も必要ありません。ただ目を閉じて、抱けば良い。リアルで、理想的な抱擁が、アナタを襲います。いや、襲っているのもアナタなのですけど。
 

理想の異性をVRで再現するのはオモシロイ研究

 さて「理想の異性をVRで再現する」というテーマで様々な研究を紹介してきましたが、冒頭に列挙した、5つのポイント:

(1) 彼女がいる人でもリアルな彼女を作るのは難しい
(2) 何がリアルなのか
(3) 何がリアルを向上させるのか
(4) 求めているのはリアルなのか
(5)「彼女のリアル」とはそもそも何なのか?

 このうち(1)〜(3)は、個々の技術や研究でご紹介いたしました。(4)については、土偶の時代から日本人が探求してきたリアルは「ミロのビーナス」とは違う、シンボリックなリアルだったのではないかなと推察します。さらに(5)、個々人のリアルは個々人にとって異なります。「理想の彼女のリアリティ」が、陰影がしっかりした映像なのか、きっちりした化粧なのか、シミそばかすなのか、汗や皮脂なのか、シチュエーションのリアリティなのか、声のリアクションなのか、目の演技なのか、演技含めた性格のリアリティなのか、これらは個々人の要望によって異なるべきだし「広く愛されるアイドル」と「理想の彼女」でも異なるべきだと思います。同じアイドルでも、クセが強い、特徴的な部位があるアイドルもいれば、非の打ち所のないような均整のとれた顔立ちもあります。なお、顔の研究者は「平均顔は美しい」という研究をしていますので、単に多くの人に美しいと感じて貰えば良いのであれば、平均顔を狙うのも良いでしょう。

 しかしVRは静止画像を見ているだけではありません。モデルさんや女優がカメラに向かって作った笑顔を理想とするだけでは、やはり演出手法としては映像体験を超えません。VRならではのリアリティは、世界のモデリングと自己投射性にあります。「影を入れるとリアルになる」という現象が表すように、個々の部位の3次元的なモデリング、つまり個々の特性を実装していくのではなく、現実世界における現象や印象を含めたバランスを観察し、実装するのが大事です。さらにそれは自己投射性をもちます。自己投射性については機会があれば解説しますが、身近なもので例えると「自分の鏡」のようなものです。さらに自分が作ったものを他人に体験させる場合には、その系の中に「体験者」という不特定多数の人間が含まれますので、これは大変「オモシロイ研究」なのです。

新たな探求者はIVRCへ

 ところで、学生さんにお知らせがあります。今年も第24回 国際学生対抗バーチャルリアリティコンテスト(IVRC2016)が作品募集しております。

http://ivrc.net/2016/

 書類締切はオンラインで参加できます。審査料1,000円を事前に振り込んで企画書を書きます。締切は2016年 6月17日 17:00(超厳守)。代表者が学生であれば社会人の参加も歓迎です。予選大会は2016年 9月14〜16日に日本バーチャルリアリティ学会の年次大会(筑波大学)で開催されます。世界の最先端を走る日本のVR研究者が実際に体験可能な作品を体験することで評価します。そしてフランス代表などの海外作品を加えた決勝大会は2016年10月29〜30日にデジタルコンテンツエキスポ(日本科学未来館)内で開催されます。

 筆者も審査員、さらに決勝大会の表彰式司会として参加しますので、学生の皆さんはぜひ会場でお会いしましょう。

 そして、皆様からの次の「VRのオモシロいご質問」もお待ちしております!

※編集部より。「白井博士に質問したい!」という方は、Mogura VRのTwitterアカウント宛に 「#白井博士のVRおもしろ相談室」というタグをつけてリプライで質問をお願いします。VRに関する質問に白井博士が面白く、真面目に答えてくれると思います!

文・絵/白井博士(しらいはかせ)

この記事を書いた人

  • 20160604_190011

    白井博士(しらいはかせ)

    1996年 東京工芸大学工学部写真工学科卒、1998年 東京工芸大学大学院工学研究科画像工学専攻修士課程修了。キヤノングループが開発した産業用ゲームエンジン「RenderWare」の日本事務所立ち上げを経て、2001年 東京工業大学大学院総合理工学研究科知能システム科学専攻博士後期課程に復学。2003年博士 (工学)の学位を取得。2003〜2004年に財団法人NHKエンジニアリングサービス・次世代コンテント研究室、2004年末にフランスに渡り、国立工芸大学(ENSAM/ParisTech)客員研究員。VRによる地域振興、国際VR作品公募展Laval Virtual ReVolutionを2006年より主催。2007年より帰国し、日本科学未来館科学コミュニケーターを経て、現在、神奈川県の大学でVRエンタテイメントシステムの開発者を育成しながらVR作家として活動。

    <著書等>
    「白井博士の未来のゲームデザイン -エンターテインメントシステムの科学」(単著)、「WiiRemoteプログラミング」(共著),日本科学未来館企画展 GameOn公式図録「ゲームってなんでおもしろい?」(インタビュー),「ゲームクリエイターが知るべき97のこと 2」(執筆協力)など。
    blog: http://aki.shirai.as/ Twitter: @o_ob

    Mogura VRのライター一覧はこちら
    http://www.moguravr.com/writers/