HTC NIPPON株式会社は、2018年12月3日に開発者向けカンファレンスイベント「VIVE JAPAN デベロッパー ミートアップ 2018」を開催しました。本記事では、松江澄人氏
と株式会社ホロラボの共同創業者でデザイニウム取締役の秦 優氏が行った「MR/VRが同居した空間共有の技術面やUX/UI」のレポートをお送りします。また、本講演の全編を収録した動画はこちらから。
登壇者全員がVIVEを装着
本講演は、「アドバンスドテクノロジーラボ（ATL）」で開発されたイベントシステム「ATL-MR」についての解説です。ATLは、株式会社リクルートテクノロジーズが運営、東京・広尾に位置しているオープンイノベーションスペース。VR/MRの各種デバイスやモーションキャプチャシステムを揃えた、無料の開発スペースとなっています。
「ATL-MR」は、現実のATLとそっくりに作ったVR空間を融合し、お互いの世界がリアルタイムに同期されてあたかも一緒にいるかのように会話ができる空間です。現実空間で行われるイベントに遠方の参加者がVRで参加できるようにすることで、「現実とバーチャルを融合させる」ことを目指しています。2018年11月22日には、この空間を使った初のイベントが開催され、70名が参加しました。
講演は実際にシステムを使用し、登壇者の２名がアバターでATLにアクセスし、空間に浮かんでいるスライドや写真などを見て説明して回ることでプレゼンテーションを行いました。
（講演を行う松江澄人氏と秦 優氏。一番左の人物はカメラマン役。VRではATLの現実空間が広がり、空間にプレゼンテーションの素材が浮かんでいる。松江氏と秦氏はアバターでその空間を移動しながら約50分間のプレゼンを行った。マイク音がハウリングするなど最初は苦労したものの、将来こうした形でのイベントが実現するのかもしれない、と感じさせる先進的な講演となった）
現在はVRはVR内で、ARは現実だけでアプリケーションが作られていることが多く、双方をお互いに融合させる取組はまだ数が多くありません。しかし、今後両技術が進化していくさきに、現実とVRが融合していくことは間違いなく、「ATL-MR」はまさにそうした未来を先取りした先進的な取組です。
時間や空間を越えたイベント開催へ
スーパーバイザーとしてATLに参加している松江氏は、「ATL-MR」の狙いを、時間や空間を超えた「共進化」を進めたいと紹介しました。ATLでできるイベントを考えた際に、アナログでのマッチングだけでなく、その場にいる参加者とVRでの参加者が一緒に学んだり、共同作業を行うことで、「現実」と「現実」がデジタルと介して融合する世界を作っていけるのではないかと考えた、とのこと。まずはその第一弾として勉強会を開催することにしたと言います。
勉強会そのもののあり方も見直すことに試みています。勉強会は通常、着席して発表を聴講するスタイルが一般的ですが、「ATL-MR」では自由に参加できるスタイルを採用しています。美術館で絵画を見るように空間に浮かぶスライドを見て回るというもの。会場に行っても行かなくても参加できたり、発表社のペースに合わせることなく、好きなスライドに戻れる、など自由に参加できるものにしたと松江氏は主張しました。野球を見に行ったときに裏側で食事を買いにいったときに、そのままコンコースで中継を見るなどといったことがあるように勉強会に参加できることを考えたそうです。
HoloLensとVRデバイスを組み合わせ
「ATL-MR」では、現実側ではHoloLensを通してVR側の参加者を見て、VR側ではVIVEやOculus Goを通して現実側の参加者を見て、お互いに会話ができるという仕組みです。お互いのアイコンが浮いて見えています。
アイコンでの感情表現などにも今後取り組んでいきたいとのこと。現実とVRでアイコンと会話が入り乱れる「カオス」な状況に楽しいという声もあがっていたと紹介する一方、「現場では音声トラブルがあるとVR側は何も分からなくなってしまう」「人がいないのにアイコンが邪魔になってスライドが見えなくなって、ある意味リアルなことが起きた」など課題に関する声もあったとのこと。
リアルとバーチャルがつながることの価値
続いて秦氏は、技術部分に関する説明を行いました。開発中には「リアルとバーチャルがシームレスにつながることの価値とは？」という大きなクエスチョンがあったとのこと。常にこのクエスチョンに立ち戻った、といいます。「時間と場所にとらわれない新しい勉強会を目指す」松江氏も話したコンセプトを常に意識しての開発となりました。
ホロラボでは1年以上前からARやVRのデバイスを同期させるR&D;に取り組んできました。
（TangoとHoloLens、PC内のVR空間を同期）
（VIVEでVR空間内でしていることを現実空間に表示）
（PC画面から現実にキャラクターが飛び出してくる「リアル貞子」）
実際の「ATL-MR」の実装でも各機能の検証を続けたといいます。
（HoloLens15台の位置情報を同時に把握する技術検証）
他にも実装はされませんでしたが、唇の動きを反映する「リップシンク」や椅子に座ったかどうかを判定する「シートシンク」も試みたとのこと。スライド周りでも、外部からスライドを操作できるようにしたり、聴講者が付箋をつけたり、感情を表すアイコンを表示する機能など色々な機能を実験し、10個以上の機能を試しました。
最終的には、「リアルとバーチャルがシームレスにつながることの価値」に立ち戻りながら必要な機能を絞り、感情をアイコンで示す機能に絞ったミニマルな実装になりました。「必要な機能を絞ることで会話ができることを重視し、話すきっかけになるようにした」とのこと。
機能を統合しプロトタイプへ
ユーザーインターフェースはベーシックなものを一度作ってみたとのこと。視界下部に自分の気持を表すためのUIがあり、上部（中央付近）には相手に何かを伝えるためのUIが配置されています。
操作手順も全て流れを想定し、検証を加えていきました。
各機能を統合することでようやくプロトタイプが完成。五反田にあるホロラボのオフィスを使って、制作を続けました。途中からは処理能力に限界のあるOculus Goを考慮して、検証を行っていきました。
（VIVE版）
（Oculus Go版）
（HoloLens版）
プロトタイプを形にすることで判明したのが、アイコンが多すぎるといった課題。最終的にはアイコンを、自分の感情、スライドへの感情やアクション、相手への感情・アクションを示すために最低限な10個程度に絞っています。
また、人が増えるとスライドのサイズの課題もあったと言います。特にHoloLensの視野角があるため小さめに、アイコン自体もスライドの近くにいるときは小さく見せるといった対策を行いました。VRは視野角が広いため、逆に大きく見せています。
こうした課題を解決したセカンドプロトタイプでは、Tiwtterログインを組み込み最終的なアプリに近づいています。自身を示すアイコンが表示されるようになったことで、誰がどこにいるかなどが見えるようになっています。また、全体を管理するための「マネージメント・アプリ」も合わせて開発しています。
（空間内にTwitterのアイコンが表示されている様子）
（マネージメントアプリ）
「繋がっている感」をどう出すか
しかし、ここで出た課題が「リアルとバーチャルが繋がっている感覚が音声、Tiwtterアイコン以外にもっと必要」ということでした。検討の末、VR内の様子をカメラで現実空間にプロジェクションする機能と、HoloLebnsの視界の映像をVR内にストリーミングする機能を搭載したとのこと。
「Twtterアイコンにもっと表情がほしい」という課題もあり、頭の向きに合わせてTiwtterのアイコンの向きを変わるような仕組みを導入。音のハウリングや混ざってしまうことへも対策を施しています。
また、AR側ではiPadも使うことができます。iOSのARKit2.0ではHoloLensと同等といかないまでも精度の高い位置のトラッキングができるためHoloLensとiPadを使ったシステムの構築が可能、と秦氏は言います。
今後はオープン化も
最後に両名から今後の課題と展望が語られました。今後の技術的な課題としては、音声周りの安定やHoloLensのノイズキャンセリング、イベントを見据えたさらなる機能搭載を挙げています。
松江氏からも「空間だけでなく、記録再生機能を追加して時間も超えるものにしたい」、「バーチャルアイドルのライブを同時に行いたい」といった将来の展望が飛び出しました。最終的にはこの「ATL-MR」の仕組みをオープン化し誰でも利用できるようにしたいとのことで、今後について大きな期待の持てる展望が語られ、セッションが締めくくられました。
