CEDEC2017で日本マイクロソフト株式会社の千葉 慎二氏によって行われた「HoloLens x Kinect / HoloPortaionLiteの実装と応用」のレポートとなります。
このセッションでは、HoloLensとKinectを組み合わせた新しいコミュニケーションシステムである『HoloPortationLite』について、実装や動作環境、今後の応用先などが語られました。
『HoloPortation』をどこでも可能に
『HoloPortation』はHoloLensを使用し、遠隔地にいる人がまるで同じ空間にいるように投影するMR（複合現実）技術です。
この技術はVRとHoloLensを組み合わせており、深度カメラで撮影した人の姿を合成しHoloLensで見せるような仕組みになっています。
ただし、8か所の深度カメラ、そして同じ条件の固定環境が二つ必要となっていました。今回、紹介されたのは『HoloPortationLite』という『HoloPortation』を簡略化したものです。
もともと『HoloPortationLite』は3月4日、5日に秋葉原で行われたNISC（内閣サイバーセキュリティセンター）のイベントのため、開発されました。千葉氏は、もともと病院での患者家族とのお見舞いを遠隔でできることに可能性を見出しており、Skypeを使った2Dでのコミュニケーションだけでなく、その場にいるような3Dでのコミュニケ―ションを思案していたとのことです。
『HoloPortation』との大きな違いとして、ユーザーの撮影にはKinect for Windows v2（以下、Kinect） を使用しており、これをルーターを介し、ワイヤレスでデータを送信し、複数台のHoloLensで閲覧できるような構成になっています。
『HoloPortation』と比べて、大がかりな機材が必要ないことが最大のメリットとなり、比較的自由度の高い撮影が可能になっています。
また、ユーザーが使用するメリットとして
・初めて使うケースでも安心。
・指示行動を立体映像により正確に読み取れる。
・リアルタイムにコミュニケーションを取ることができる。
といったものが挙げられます。
開発初期から徐々に改善
開発の初期段階では、表示濃度を距離によって変更するなどの工夫はしているものの、実行時に7fpsしかでておらず、Kinectのデータをそのまま送信してしまっていた点や、ポイントクラウドをそのまま表示していた点などが原因としてわかっていました。
少し改善したバージョンでは見た目は多少改善されたものの、10fps以下の動作状態でした。センシングの部分でKinectの32bitカラーをRGBのみにすることでデータ量を25％削減したほか、座標情報を32bitから10bitに変更するといったことで、改善を図ったとのこと。
この段階に録画機能を付けたものを日本マイクロソフトが主催する開発者向けイベント「de:code 2017」にて展示しました。この段階ではfpsが25程度となっています。
現在ではかなりスムーズな動作ができており、30fpsでの動作も確認ができているとのことです。軽量化に伴い、パーティクルエフェクトを付加する余裕が出てきたとのことです。ただし、Kinectの台数を増やし、受信方向を増やしてしまうとパフォーマンスはやはり落ちてしまうとのことです。
ノウハウが詰まったソフトウェアの設計
Kinect側のソフトウェアでは、フローチャートでは緑色の部分がKinectの処理となっており、青色の部分がホストアプリの処理になっています。また、デバッグ用にコントローラー入力を用意しています。
フローの最上部でKinectの接続状態で分岐を行っていますが、これはKinectを接続していない状態でもパケットの送信ができる状態になっており、保存したKinectのデータを再生する仕組みとなっています。
描画にD3D9を使用していますが、KinectのデモがD3D9で動作していたためそのまま使用しているとのことです。
HoloLens側のソフトウェアは、メインスレッドのほかに、ネットワークスレッド、オーディオスレッドの３つのスレッドから成り立っています。また、このフローチャートの破線部分は非同期で通信を行っています。そのため、一瞬ズレが生じることもありますが、見栄えよりも通信速度とフレームを優先した結果このようになっているとのことです。
メインスレッドは通常時は60fpsが出るようになっていますが、現状では30fpsに落ち込んでしまうこともあります。
また、HoloLensのローカルにデータを落として再生できる仕組みを作っており、スタンドアロンでも動作するようになっています。
オーディオは3D音声にしてありますが、熱とバッテリー消費を抑えるために、アイドリングタイムを取っており、20fpsほどで動作させているとのことです。ただし、デメリットとして頭を素早く動かした際に、音声位置がずれる可能性が大いにあります。
HoloLensアプリの設計はゲームの開発に近い
HoloLensのソフトウェア設計はゲーム開発に近いものがあり、コンテンツやサウンドといったリソースが重要になってくる点や、コンソールゲーム開発と似た点としてパフォーマンスを向上させるテクニック、モバイルゲーム開発との類似点としてバッテリーライフや熱を意識した設計などがあります。
逆にゲームと違う点としては、HoloLensはPCであるため、拡張性が非常に高い点が挙げられます。クリエイターのアイディア次第でほぼ無限に可能性が広がっていきます。
開発者エディションであることへの意識
現在のHoloLensは開発者エディションとなっています。そのため個体差やばらつきがあり、次のような点を意識する必要があります。
・色味：かけ方や位置によって差がでてしまう。
・性能：バックグラウンドで動作中のアプリやネットワーク状況に左右される。
・精度：周囲の環境の認識度によって解決するケースもある。
当然ですが、精密機器であるため、丁寧に扱う必要があるほか、発熱を回避するためのHoloLensの中空部分を不用意にふさいでしまうと、想定しない問題が発生してしまう可能性があるとのことです。
『HoloPortationLite』の今後の展開
今後は、今までタブレットで行っていた遠隔治療を行っていきたいとのことで、『HoloMedicine』と名付けた互いに3Dの状態で診察などができ、パーキンソン病の診断などを行えるシステムを現在、研究開発中です。開発が進めば応用先として在宅医療なども視野に入れているとのことです。
適材適所な活用を
デバイスには向き不向きがあるため、その特性をしっかりとつかみ、そのデバイスならではの使い方を考えることが重要になってくるとのことです。
最後にマイクロソフト社から「Mixed Realityパートナープログラム」についての紹介があり、セッションは終了しました。
「Mixed Realityパートナープログラム」についてはマイクロソフトのパートナー企業向け年次総会である「Microsoft Inspire」で発表がありました。パートナープログラムへの参加などはこちら（英語）から確認することができます。
