2020年12月8日から10日の3日間にわたって開催された、国内最大級のVR/AR/MRカンファレンス「XR Kaigi 2020」。期間中に行われた50以上のセッションの中から、あらためて振り返っておきたいセッションをMogura VR編集部がピックアップ。今回はMESONと博報堂によるセッション「MESONと博報堂が目指すサイバーとフィジカルが融合したコミュニケーション空間の実現」のレポートです（※記事内に登場する各種データはXR Kaigi 2020開催当時のもの）。
なお、同セッションは当初「MESONと博報堂が目指すリアルとバーチャルが融合したコミュニケーション空間の実現」というタイトルでしたが、当日は「MESONと博報堂が目指すサイバーとフィジカルが融合したコミュニケーション空間の実現」のタイトルで講演が行われました。
現実空間とバーチャル空間の融合で人々の行動は変化する
登壇者は博報堂DYホールディングスの目黒慎吾氏、MESONの小林佑樹氏のふたり。セッションの前半では、博報堂DYホールディングスとMESONが共同開発した「MIRR」をはじめとする、これまでの開発成果についての紹介がありました。その後、現在進めているプロジェクトの説明、そしてサイバーとフィジカルの融合でどのように社会が変わるのか、というテーマでディスカッションが行われました。
冒頭、目黒氏は「サイバーフィジカル空間」という概念を紹介。サイバー空間とフィジカル空間（物理空間）が融合していくことによって、生活者の行動が変化するのではないかと語りました。
ここで紹介されたのが、ニューヨーク市の先端技術領域におけるイノベーション創発プログラムであるNYC Media Labにおける、コロンビア大学のSteven Feiner教授との共同研究である「Trans-Pacific Ball Game」。動画では、太平洋を挟んだニューヨークと東京でボールのやり取りをする様子が紹介されました。
小林氏からは、世界最大のAR/VRアワードであるAuggie AwardにてBest Campaign賞を受賞したファッションアプリ「PORTAL」、そして国内最大規模のARコミュニティイベント、ARISE紹介されました。
そして、講演の本論であるサイバーフィジカル空間についての話がスタート。両名からは、現実の街である「Physical layer」、街のデジタルツインである「Digital information layer」という概念を紹介したうえで、それらを統合した一番上のレイヤー「Spatial interaction layer」にXR技術を用いたサービスが作られていくのではないかと語ります。
具体的にこうしたサイバーフィジカル空間を具現化した事例として、2019年1月から推進している博報堂DYホールディングスとMESONの取り組みが紹介。「AR CITY」「Spatial Message」「MIRR」という3つのプロダクトが具体例として挙げられ、今回はその中でも空間写真共有サービスであるMIRRにフォーカスが当てられました。
MIRRはAR時代の自撮りコミュニケーションをコンセプトとした写真投稿・共有体験です。1980年代からは物理的なフォトアルバム、1990年代からはパソコンなどのデバイスの中に写真が保存されるようになったことに触れ、次の時代は街中に写真を置いて友だちと共有するような体験が実現するのではないかと目黒氏は語ります。
目黒氏は渋谷キャストでのMIRR体験イベントを2020年6月中旬に計画していましたが、新型コロナウイルス感染症（COVID-19）の影響で計画は見直しに。実施時期を7月に延期し、ARグラスで行うはずだった体験をVRヘッドセットで行えるように切り替えたそうです。
また、MIRRの開発経験から、現実空間と仮想空間が融合し、ARとVR、そしてウェブライブストリーミングという、デバイスを超えたコミュニケーション空間が作れるのではというアイデアを、図とともに解説しました。
フィジカル空間とサイバー空間を同期させる
小林氏は現在行っている研究についての紹介を行いました。研究テーマは「サイバーフィジカル空間の距離を極限まで近づけ、クロスデバイスでアクセスできるプラットフォームの構築」だと言います。
研究テーマの実現のためにはいくつかの技術検証が必要だと言う小林氏ですが、まだ検証できていない技術のひとつとして、セッションでは「フィジカル空間からサイバー空間への環境情報同期」の検証について解説しました。
フィジカル空間からサイバー空間への環境情報同期については、「単にデジタルコピーを生成するだけでなく、工事や天候によって変容するさまをリアルタイムでセンシングし、サイバー空間と同期する技術を実装する必要がある」と言う小林氏。今回の技術検証では、「RGBカメラを使った2D映像の転送」「デプスセンサーを使った点群情報の転送」の2つを行いました。
（左：サイバー空間のオフィス、右：現実のMESONオフィス）
検証にはデバイスとしてNrealLightとOculus Questを、ユーザーの位置同期にはMESONが独自に開発したオープンソースフレームワークであるConektonを、フィジカル空間の環境情報の転送にはAzure KinectとLiDAR付きiPhoneを使用。まずはMESONのオフィスを3Dスキャンし、フィジカル空間のデジタルコピーを作成しました。
（オフィスでの利用ケースを想定したシナリオも用意）
（テスト体験会の様子）
セッションではRGBカメラを用いてフィジカル空間の映像をサイバー空間に投影したデモと、デプスセンサーを用いてフィジカル空間の点群情報をサイバー空間に転送したデモを披露。オフィスでの利用ケースを想定して用意したというシナリオもあわせて公開しました。
ここで想定されているのは、オフィスに全員が集まれていないことでコミュニケーションがうまく機能していないチームです。ユーザーテストではこの空間プラットフォームの中にアクセスしてもらうことで、オフィスにいても自宅にいても親密なコミュニケーションが取れるようにしたとのこと。デモでは、フィジカル空間のARユーザーがサイバー空間のVRユーザーとスムーズにコミュニケーションを行う様子が紹介されました。
続けて紹介されたのは、サイバー空間へRGB動画が転送されるデモ。小林氏が「かなり面白い結果を得ることができた」と話すのは、現実の人物がカメラからフレームアウトするとアバターに変化する、というインタラクション。これにより、リアル空間とバーチャル空間をシームレスに繋ぐ体験ができたと言います。
また、点群情報の転送に関しては「転送効率を上げないと高解像度の点群データが送れない」というネットワークのボトルネックを指摘したうえで、立体的に人や環境を転送できるという点でかなり可能性を感じられたと述べました。
小林氏は体験会を通して、「有用性を検証できた点」「改善が必要な点」「追加で検証すべき点」が知見として得られたとまとめました。
小林氏はまた、すでに新しいユースケースの探索も始めていると言います。次のシナリオとしては「買い物」「観光」「ライブパフォーマンス」の3つを考えているとのことです。
フィジカル空間とサイバー空間の融合で社会は変わるか
その後、両氏は「サイバーとフィジカルの融合で変わる社会」というテーマで、移動の概念の変化についてのディスカッションを開始。
「バーチャルプラットフォームによって外出の必要性が薄れ、旅行や買い物といった産業が変容していくのではないか」と小林氏が投げかけると、目黒氏は欧州では200近くの空港が破産する可能性があるというトピックに触れ、「新しい移動というものを考えるべき段階に差しかかってきている」と返答。
また、バーチャル上での海外旅行が普及するかもしれないという話題では、今までは友人が「一緒に旅行に行きたい」と言えば自分も付いて行くしかなかったが、今後は自宅からVRで入って現地にいる友人と合流し、一緒に買い物を楽しめるようになると予想しました。
一方で小林氏は、移動に付随して生まれる価値もあると指摘。飛行機に乗って現地まで行ってそのまま折り返し、旅行気分を感じて帰るだけのサービスがあることを紹介したうえで、「旅行する」「買い物する」という目的を効率的に達成するだけのアプリケーションは意外と受け入れられないのではないかと分析。両氏は、フィジカル空間で移動することそのものに価値を置くか否かは人によって分かれる、と結論づけたところでセッションは終了となりました。
XR Kaigi 2020のセッション動画をYouTubeで公開中
今回レポートしたセッションをはじめ、XR Kaigiの公式YouTubeチャンネルではセッション動画を多数公開しています。イベントに参加した人も未参加の人も、ぜひ一度チェックしてみてください。
