「リアル」で人とのコミュニケーションを取る際に、気にするべきことが増えて久しい。対面での接触や会話を避け、大人数で集まる行事やイベントを慎みはじめてから一年以上が経過し、人々はバーチャル（あるいはリモート）でのコミュニケーションを余儀なくされている。
今回はこのような状況下において、「バーチャルとリアルの融合した体験を、VRとARで実装する」ことに挑む、株式会社MESONと博報堂ＤＹホールディングスが取り組む「Project GIBSON」について紹介しよう。
正直に言うと、「GIBSONとは何か？」という問いに一言で答えるのは難しい。概要だけ一気に説明するなら「Project PLATEAUのデータをもとにして渋谷の一区画の3DCGを生成」、「渋谷PARCOの周辺だけはフォトグラメトリで高LOD（Level of Detail）になっている」「現地にいる人がARグラスをかけながら、遠隔からアクセスしている人はVR上で“一緒に”街歩きができる」といったところだろうか。
ただ体験した後だから言えるが、この内容を体験せずに口頭や文字だけで説明しても“きちんと分かった”ことにはならない。かく言う筆者らも初めて「GIBSON」のプレスリリースを見た2020年12月、「ああ、いわゆるデジタルツインね」と少なからず分かった気になっていた。しかし、筆者らを待ち受けていたのは、本当の意味での「バーチャルとリアルの融合」の原型だったのである。
そこに「バーチャルとリアルの融合」のプロトタイプを見た
「GIBSON」の体験は、離れた2地点で行う。今回は渋谷・神南にあるMESONオフィスから筆者がVRで、渋谷PARCO前からはMESONでディレクターを務める本間氏がARで、それぞれGIBSONにアクセスした。デバイスはVR側が「Oculus Quest 2」、AR側が「NrealLight」を使用。いずれも2020年後半に一般発売された、比較的新しいデバイスだ。
Oculus Quest 2を装着すると、渋谷PARCO前の様子が広がる。一部エリアはフォトグラメトリを使って高精細化されているのだが、それ以外のエリアはProject PLATEAUのデータを基にしているため粗く、どことなく初代PlayStationのゲームっぽさがある。なんとも懐かしい。
これだけではよくある「デジタルツイン」に過ぎないが、「GIBSON」の本領発揮はここから。ほどなくすると静かだった「GIBSON」のパルコ前から雑踏が聴こえはじめ、遠くにはアバターが見える。このもう1人のアバターこそが、リアルでは渋谷PARCOの前にいる本間氏だ。
「私についてきてください」。ワープで近づくと、本間氏がこちらを振り向いて会話が始まった。バーチャル空間上で筆者が後ろから声をかけると、本間氏のアバターが振り返って話しはじめたことは特筆に値する。「後ろから声をかけられたので、振り返って話す」だけなら当たり前のようだが、筆者と本間氏はひとつのバーチャル空間上にいるようでいて、実際お互いに見えているものはまるで違うのだ。遠隔からVRでアクセスしている筆者の位置を、現地にいる本間氏がARで“感じとれている”。VRとARが、あるいはバーチャルとリアルが交錯した瞬間だ。
体験するうちに「GIBSON」の興味深い点はいくつも発見できたが、最も印象的だったのはこの邂逅の瞬間だったかもしれない。「リアルとバーチャルの融合」という言葉は今でこそ頻繁に聴かれるようになったが、その“融合したもの”をきちんと体験できることはそうそうない。どちらもバーチャル空間上にいて、遠隔で同じものを見て、あるいは体験しているケースが大半だ。“いつか、VRとARの違いがなくなる”というフレーズもたびたび語られるが、どのような感覚になるのか、頭で分かっていたはずのことが実感に落ちてくる。
そのまま2人で街を歩き始め、本間氏はスマートフォンのカメラから映像をリアルタイムで送信してくれる。前述の通り、筆者のいるバーチャル空間は渋谷PARCO周辺以外の情報量が少ない。解像度は粗い。通行人はいない。信号もない。道を横切る猫もいない。路側帯にはみ出るように生えている草木もない。現実のようで何もない世界にいると、カメラから送られてくるの映像はとてもありがたいし、ある種の拠り所ですらあった。
渋谷PARCO前からMESONのオフィスまで、数百メートルは歩いただろうか。位置合わせには「Immersal」を使っており、たまにズレることはあるものの、ほぼ位置関係は維持されたまま歩き続けた。相手のアバターが壁や建物にめり込むこともなく、坂を登っている時も高さが調節され続けているため、常に2人で平らな道を歩いているような形になっていた。
その後、本間氏がMESONのオフィスにたどり着いたところで体験は終了。Oculus Quest 2をはずした時は、自分がリアルとバーチャルが交差する不思議な空間からリアルに戻ってきたことを痛感した。
ARとVRを、現地と遠隔を融合する「質的に異なる体験」
このようにいささか奇妙なものでありつつも、独自の質感でVR/ARの横断的な体験を実現している「GIBSON」。果たして、どのような思想やプロセスを経てこのプロトタイプは作られたのだろうか。
「Society 5.0等ではバーチャルとリアルを融合する、あるいは横断する体験がしばしば議論の対象に上がりますが、往々にしていずれか一方に強く振り切れているケースが多いと思っています。大半のVRイベントはバーチャルオンリーですし、バーチャル空間上に街を再現する場合はリアルタイムな街の反映ではなく、いつかの時点を保存したものになっています。雑多な情報も含め、『今この瞬間』のリアルをバーチャルにフィードバックする、あるいはバーチャルをリアルにフィードバックするような体験を作りたい」開発を手掛ける株式会社MESONのCEO、梶谷健人氏はこう語る。
（株式会社MESON CEOの梶谷健人氏。今回の「GIBSON」は国交省の「Project PLATEAU」の立ち上がりの時期、つまりユースケース公募の段階で声がかかり、データを活用することができたという）
さらに梶谷氏は「GIBSON」の「現地でのAR」と「遠隔からのVR」を融合することで、あるひとつの問題点を解決できるのではないか、と語る。梶谷氏いわく、「ARにおける『ネットワーク効果のジレンマ』を超えられる可能性があると思っています。ARはその場に紐付いた、いわばネイティブな情報を、位置情報と結びつけて表示することがひとつの価値になります。これは非常に強力ですが、一方で現実のその場に来た人からしか情報が集まらない。結果として、ネットワーク効果が起こりづらいんですね。ここにVRを組み込むことで、『その場に来ていないが体験はしている人』も情報が置けるようになると、大きく変わるのではないか」。確かに位置情報や場所に強く限定された「街のAR体験」を、VRを通すことでどこからでもアクセス可能にすれば、より広い範囲での利用者増が見込めるだろう。
しかし、そのためには「生きた街のデータ」が必要になる。ある時点のスナップショットではなく、なるべくリアルタイムに近い（あるいは随時更新される）データだ。MESONと共同研究を行っている博報堂ＤＹホールディングスの上席研究員、目黒慎吾氏は「AR側ユーザーのカメラから取得した風景、いわば『VRに開いた現実の窓』のようなものから見える景色はLODが高い状態かつリアルタイムです。ここからは『生きた街』が見えますが、そこから外れると以前取っただけのデータ、つまり『死んだ街』になってしまう」「今後は例えば、ARの窓で写したところからバーチャル空間側のデータも常時更新されるような状態にしていきたいとは思っています。なかなか難しい部分もあるので、点群や他の方法でも『切り替わっていっている感じ』が生まれればと」と語る。なお目黒氏いわく、この「更新される街」については写真を撮影して現地に残せる機能に（今のところ）託されているとのことだ。
（博報堂ＤＹホールディングスの上席研究員である目黒慎吾氏。MESONとの共同研究は既に3年目に入っており、現在はサイバー空間とフィジカル空間の融合、新しいコミュニケーション空間の創造に取り組んでいる）
また興味深いデータとして、「現地で一緒に街歩きをする」ケースと「GIBSON」を使ってケースを比較した場合、行動パターンは前者の方が多い一方で、滞在時間が長くなる傾向が強いのは「GIBSON」側だという。「一緒に歩くのとは、質的に異なる体験が作れていると思います。施設や体験したことを覚えている割合も『GIBSON』経由の方が多く、空間に着目すべきポイントが変わっていたり、あるいは空間の持つ情報の粗密が影響していると考えています」と、目黒氏は語った。
このように独自の体験価値を作り上げている「GIBSON」だが、今後に向けての課題もある。MESONでディレクターを務める本間悠暉氏は、「ハードウェアのスペックは向上を続けていますが、制約はまだまだ感じています。例えばNrealLightは視野角が狭いこともあり、VR上のユーザーを見つけづらかったり、VPSを動作させつつ写真の投稿等を行うとメモリがかなり圧迫されたりと、越えるべきハードルはまだまだたくさんあります」と話す。他方で精度の高いVPSが使えるようになったことで、500m四方を歩き回った際に生じるズレは1m程度に収まった。既にオフィスではLiDARを使った実験も行っており、今後もこうした技術的なチャレンジは続きそうだ。
（「GIBSON」のVPSの構成。Project PLATEAUのCityGMLとVPSシステムを通して、VRと現実空間の位置情報を同期している）
また、現時点の「GIBSON」は何かに特化して開発されているわけではなく、「良くも悪くもオープンで、何にでも使える状態。いろいろな用途が想定されるし、どこから手をつけるか考えている」（梶谷氏）とのこと。確かに「独特かつ面白い体験」はできる状態ではあるが、今後は「これ」と言った使い道に向け、完成形にうまく捏ね上げるプロセスが必要だろう。「自分を点群データとして残しておいて、時間を超えるようなコミュニケーション体験は可能か？」「観光やショッピング、イベントといったユースケースはありうるが、現在の『窓』のサイズを大きくしたらどうなるのかも見てみたい」「自動運転車と組み合わせて……」など、取材中にも様々なアイディアが飛び出す。今後、「GIBSON」の作り出す不思議な体験が、どのような形を取ってゆくのか期待したい。
