Home » 【de:code】HoloLens開発で求められるものとは? 多数の事例から導き出した知見を紹介


イベント情報 2018.06.01

【de:code】HoloLens開発で求められるものとは? 多数の事例から導き出した知見を紹介

2018年5月22日から23日にかけ、日本マイクロソフトは開発者向けカンファレンス「de:code 2018」(公式)を開催しました。de:codeでは、基調講演によるマイクロソフトの新情報共有、様々な企業の技術展示、開発者による知見共有の講演などが行われました。

初日は「HoloLensとは何か」「MRとは何か」といった基礎的な講演が揃っていた一方で、2日目は実際の導入事例や開発知見など、実践的な内容が多く見られました。

本記事では株式会社ホロラボによる「HoloLensの業務利用と開発事例」の講演レポートをお送りします。この講演ではHoloLensの業務利用に関して、既に実施された案件の内容、多くの顧客から寄せられた要望、開発に役立つ知見などが紹介されました。


(写真左:株式会社ホロラボCEOの中村薫氏、写真右:同社CTO島田侑治氏)

[ads]

目次

1.株式会社ホロラボについて
2.Hololensの業務用アプリ開発
3.HoloLens開発Tips
4.まとめ+Hololens最新情報

株式会社ホロラボについて

株式会社ホロラボは、2017年1月18日(日本国内でのHoloLens発売日)に設立しました。マイクロソフトが展開する「Mixed Reality(複合現実)パートナープログラム」の認定パートナーとなっており、Windows Mixed Realityに代表される最新技術に関する調査研究、システム・アプリケーション開発、啓蒙活動を行っています。また医療、建設、コミュニケーション、放送など多くの分野でHoloLensを用いたソリューションを提供しています。

またホロラボは、クラウド上に3D CADデータをアップロードするだけで、VR・AR・MRデバイスで体験ができる形にデータを変換するサービス「AR CAD Cloud」の開発も手がけています。


Hololensの業務用アプリ開発

講演ではHoloLensを適用しやすい分野として、(1) 3Dデータ(GC,CT,CAD,BIMなど)を扱っている分野(2) 見えないもの(気流、磁力など)を扱っている分野のふたつが挙げられました。こうした分野でHoloLensを利用する場合、自社で既に利用しているCGデータを活用することができます。

HoloLensの強み・弱み

またHoloLensの強みとして挙げられたのは、(1) 現実空間にCGを配置できるため、実際との比較がしやすい、(2) 実際と同じスケール感で体験できる、(3) 両手が自由である、の3点。

一方でHoloLensの弱みは、(1) 高精細なモデルを自由に扱えるほど性能が高くない、(2) 視野角が狭い、(3) 価格が高い、の3つ。

現在の主な顧客は、HoloLensの弱みをきちんと認識した上で強みの方に大きな魅力を感じ、ハードウェア的な問題は時間が解決すると考えている層なのだとか。

HoloLensの業務利用シナリオ

中村氏はHoloLensの業務利用の主なシナリオとして「現在の業務フローの一部をカットする」というものを挙げました。HoloLensに慣れていない企業の場合は、まずは自社データをHoloLensで表示することから始めると、業務利用のイメージがしやすくなるとのこと。

さて、ホロラボの制作ワークフローは、概ね3つの段階に分かれています。

まず、顧客が自社で持っているモデル・データをそのままHoloLensで閲覧してみる段階。1〜2ヶ月をかけて、HoloLensをどのように利用していけば良いのか、目的を明確にしていきます。次に2〜6ヶ月をかけて試作を行います。ここで、実現出来ることと出来ないことを明確にしていきます。最後に実導入に向けた制作です。

開発時に考慮するべき点

実際にソリューションを提供する際、考慮するべき点がいくつかあります。まず開発前の段階では、スケジュール・作業の見積もりに気をつけるべきだと言います。

MRを用いたアプリは、当然現実環境との擦り合わせが必要になります。顧客側の環境に適したアプリを開発するためには、現場での確認なども含めてスケジューリングをする必要があるのです。スケジュール以外にも、現場で最適な動作をするために操作や位置合わせなどの工夫も必要になります。

そして実際に開発をする段になった時、第一に考えるべきはUnityのバージョンです。ホロラボでは「平面が安定しない」「UnityWebRequestなどのネットワーク系APIにおいて不具合が出やすい」などの理由から、「Unity 2017.2.2p1」または「Unity 2017.4.2f2以降」を採用しているそうです。

またCAD/BIMのデータはUnityに取り込む際に変換が必要であることに加え、HoloLensの性能に合わせて軽量化処理を施す必要もあります。さらにモデルに関しては、実寸サイズが大きいとHoloLensの視野角からはみ出てしまうため、モデルの移動にコントローラーを使用するなど、見せ方に工夫が必要になります。

最後に、開発したアプリを現場に持っていく段になって気をつけるのは2点。(1) 対応する人員の確保、(2) 屋外やネットーワークなどの現場特有の問題です。HoloLensの使用に慣れていない顧客の場合は、操作を説明する人も確保する必要があります。

HoloLens開発Tips

ここから中村氏は、HoloLensアプリの制作を受ける際、顧客からよく求められる要素について、およびそれを実装する際の知見について説明しました。

CAD/BIMの使用

AR CAD CloudUnity BIM Importerなどのサービスを利用することで、CAD/BIMのデータをUnityに簡単にインポートすることができるようになります。この時「10万頂点以内」を目安にポリゴン数を減らすと、HoloLensの性能に合ったモデルになるそうです。

位置合わせ

CGの表示を所定の位置にピッタリ合わせたい場合、Unityに公式対応したARライブラリであるVuforiaを使うやり方が上げられます。ただし1つだけのマーカーで位置合わせをする場合、回転方向のズレが発生しやすいため、コントローラーなどを使用して微調整する必要があるとのこと。

自動車メーカーのFordは、HoloLensを実際の業務に導入しています。ここでもコントローラーを用いた位置の微調整が行われています。ホロラボでは現在、複数マーカーを用いて位置合わせをする技術が研究されています。

Sharing

複数のHoloLens間で、同じオブジェクトを同じ位置に表示したいという要望も多いとのこと。これは、複数のHoloLensで(1) 原点を合わせ(2) お互いの座標を通信で同期させることで共有しているように見せる、という方法で実現されます。

(1) 原点合わせ には (1-a) Spacial Mapping(HoloLensの機能)を使う、(1-b) 何らかのマーカーを使用する、(1-c) 同じ地点で起動をして擬似的に合わせる、という3つのやり方が考えられます。

さらに(2) お互いの座標の通信には、(2-a) MRTKのSharing Server、(2-b) UNETなどのライブラリ、(2-c) UDPなどのソケット通信、が考えられます。

これらの原点合わせ方法と通信方法の組み合わせによって、様々な実装が考えられます。

遠隔コミュニケーション

物理的に離れた人とHoloLensを用いてコミュニケーションを取る場合、人間の表示を2D・3Dのいずれにするかでアプローチが異なります。

2D表示(テレビ電話をパネルに映して空間に配置)の場合はWebRTCやSkypeのようなアプリケーションを使用します。一方で3D表示(人が目の前に立体的な肉体を伴って現れる)の場合は、Kinectのような深度センサを用いて実現します。

HoloLensの遠隔コミュニケーションの実装例としては、マイクロソフトが開発したMicrosoft Remote Assistのプレビュー版がリリースされています。(関連記事

モデルの安定化

モデルの表示をズレにくくするための手法に関して、ホロラボが行ったWorldAnchorに関する実験結果が紹介されました。WorldAnchorとは、現実空間の特徴点を記録しておき、HoloLensのトラッキングがズレた際に、記録した特徴点をもとに修正する機能です。


(WorldAnchorを起動時だけに配置した場合の結果。巻き尺を伸ばし、原点を合わせ、真巻き尺に沿って5m歩いて戻ってくると、設定した原点がズレている)


(WorldAnchorを周囲に多数配置した場合、同様に5m歩いて戻って来た時のズレが少なく、高い精度を維持できる)

精度

HoloLensのトラッキング精度について、中村氏は「公式なデータはない」と述べた上で、「1cm以上はズレる。モデルの配置に関しては10cmはズレる」とコメントしました。


(ホロラボでは独自に計測用の治具も制作しているとのこと)

屋外使用

HoloLensが体験者に提示するのは、ホログラムではなく立体視用の映像です。ディスプレイに映った像は、明るい場所では見えにくくなってしまいます。明るい屋外では、トラッキングや空間マッピングがズレることもあるそうです。ホロラボでは、明るい場所ではサンバイザーをつけるなどで対処しているとのこと。また逆に、暗すぎる夜などの場合でもトラッキングがロストしてしまうのだそう。

明るさ以外では、気温にも注意が促されました。暑い季節は熱にも注意が必要です。

まとめとHoloLensの最新情報

建築業界など、3Dデータの利活用が盛んな分野ではHoloLensの導入が進んでいます。本講演では、「まずは自社のデータをHoloLensで閲覧するところから始めてみる」というアドバイスや、HoloLensの実装・性能に関わる様々な知見が紹介されました。

最後に中村氏は、HoloLensの最新アップデートに触れました。

2018年4月には「HoloLens Spring Creators Update(Red Stone 4)」と呼ばれるプレビュー版のOSが公開されました。このアップデートでは、両手のジェスチャー操作に対応、HoloLensの各種センサデータにアクセスできる「Researcher Mode」の登場、新しいAPIの登場など、様々な新機能が導入されています。ホロラボでも、このHoloLens RS4に関する情報を発信しています。

・参考:ホロラボ公式ブログ – 「HoloLens RS4 Preview公開記念勉強会!@アカツキ」に登壇しました

新しいAPIとしては、エッジ端末で機械学習モデルを実行できる「WIndows Machine Learning」なども紹介されています。

HoloLensのアプリケーションとして、遠隔での情報共有をサポートする「Microsoft Remote Assist」や現場のレイアウトを効率化する「Microsoft Layout」も登場しています(紹介記事)。HoloLensをはじめとするMR技術の今後に期待がかかります。


VR/AR/VTuber専門メディア「Mogura」が今注目するキーワード