2018年5月22日から23日にかけ、日本マイクロソフトは開発者向けカンファレンス「de:code 2018」を開催しました。本イベントではマイクロソフトの新情報共有、様々な企業の技術展示、開発者による知見共有の講演などが行われました。
本記事では「HoloLensで実装するAIとIoT」という講演のレポートをお送りします。
（登壇したのはマイクロソフトテクノロジーセンターの鈴木敦史氏）
マイクロソフトが提供するMRデバイス・HoloLensは、トレーニングや作業支援など、現場の第一線で働く人に使用される機会が多いデバイスです。本講演はこのHoloLensやITを軸に、「現場の働き方をどのように変えることができるのか」というテーマに基づいて行われました。
HoloLensとIoT
HoloLensをIoT（Internet of Things）の文脈で利用しようとする場合に最も手軽なのは、HoloLens本体をIoTのエッジデバイス（Edge Device、IoTの「T」、すなわち「モノ」側）として使用するやり方です。HoloLensにはカメラや深度センサー、マイクなどが搭載されています。これを利用すれば、例えば現場作業等の様子を体験者の視点から記録しておくことができます。
ただ、これだけでは現場の人の働き方が変わるわけではありません。
HoloLensとAzure IoT
そこで、現場の人にHoloLensを活用してもらう方法として、既に利用しているデバイスをAzure IoTでHoloLensと連携させる方法が考えられます。例えば、既に稼働しているIoTデバイスのデータを、HoloLensを用いて可視化することができます。
[wc_row][wc_column size=”one-half” position=”first”]
[/wc_column][wc_column size=”one-half” position=”last”]
[/wc_column][/wc_row]
講演会場では、有野いくさんによるデモが行われました。水道管のメンテナンスを行う際、HoloLensを通じて温度・湿度・流れた水量など、センサから取得したデータをレバーの傍にテキストでリアルタイムに可視化することができます。
こちらのシステムはIoT DevKit（IoTデバイス）を用いて取得したデータをIoT Hubに送り、IoT Hubを通じてHoloLensと通信をしてます。なおIoT DevKitは現在、日本国内で入手することは難しいため、海外から入手する必要があるとのこと。
Service Busの中にあるQueueにデータが入ったらFunctionが起動し、HoloLensにデータが送られるという仕組み。IoT Hubを用いることで、デバイス間の通信を簡単に行うことができます。IoT Hubのチュートリアルはこちらから。
現実環境では、複数デバイスの膨大なデータ処理に対応するため、図のような構造にすることが推奨されました。Power BIを用いることで、HoloLensを使っていない人もデータの確認ができるようになります。
HoloLensとOffice 365
現場の働き方を変える例として「Microsoft Remote Assist」の活用が挙げられました。このツールを利用することで遠隔地とのビデオ通話等が可能で、現場の作業者がトラブルに直面した際、専門家に素早くアドバイスを仰ぐなどの活用方法があります。
他にもOneDriveの資料をHoloLensの視界の中に表示する、遠隔地にいる人が視界の中にCGをマーキングするなどのことができるため、専門家が実際に現場に行かずとも、相手の視界を共有して指導ができ、作業効率の向上につながります。
（動画：Microsoft HoloLens: Collaborate with Microsoft Remote Assist to solve problems faster）
Remote Assistを先ほどのAzure IoTと組み合わせて活用することもできます。
Remote AssistはHoloLens対応のアプリケーションですが、同時にOffice 365の「Teams」も必要になります。Teamsの機能を拡張することで、先に述べた画面の共有やファイル共有、双方向でアノテーションを作るなどのことができるようになります。こうした機能をWindows PC、iOS、Androidなどのプラットフォームに関係なく利用することができます。
またスケジュール調整や報告書の作成など、現場以外の作業ではマイクロソフトの「Dynamics 365」を組み合わせることで、現場に限らず作業フロー全体を効率化することもできます。
例えばIoTデバイスにアラートが入った場合、「Field Service Mobile App」を使うことで、HoloLensからでもDynamicsの中で管理されている情報にアクセスすることができます。そして現場に行ってからはRemote Assistを用いて作業をし、報告書はHoloLensがカメラで記録していた一人称映像を元に作成する、といった流れが実現されます。
HoloLensとAI
HoloLensとAIを組み合わせる時、代表的なものにはHoloLensのカメラとマイクから情報をインプットし、ネットワークを通じてAIにアクセスする方法が挙げられます。例えば画像データを学習したAIを用意し、特定の物体が視界に入ったら通知を出すなどが可能となります。
しかしこうしたAIの使い方では、現場で作業している人は自分が行なっている業務に加えて、さらにHoloLensの操作をしなければいけません。場合によっては現場の作業を中断して、AIにアクセスするための操作を行う必要があります。
そこで鈴木氏はクラウド上のAIをエージェント化し、それを表現するキャラクターなどをCGで表示する手法を提案しました。この方法では、ユーザはエージェントと会話をする形式で必要なデータにアクセスします。
例えばOffice 365に登録されているユーザの連絡先が知りたい・連絡をしたい場合に、「◯◯さんを呼んで」などと話しかけるだけでこれを実現するなど。
会社のデータベースなど、HoloLensから直接アクセスするには手間がかかる情報を、クラウド上のエージェント（AI）に探索してもらうという方法です。
講演では、NTT研究所が開発したコミュニケーションエンジン「COTOHA」を組み合わせたデモが紹介されました。
（有野さんの目の前には、コピー機。HoloLensを通じて見ると、故障を意味する「ERROR」の表示が出る）
有野さんはIT部門のスタッフを呼び出そうとCOTOHAに依頼をします。COTOHAはOffice 365に登録されている社員のデータから、本件に対応ができそうな人の連絡先を検索し、必要なら連絡をします。今回は担当者が不在で繋がらなかったため、COTOHAにエラーの原因を教えてもらうことになりました。
するとCOTOHAは、コピー機のログデータにアクセスをし、いつの時点でエラーが発生したのか調べます。今回は赤く表示された場所で紙詰まりが起きたことでエラーが出ていることがわかりました。エージェントがIoTデバイスの情報にアクセスし、ユーザに音声でそれを伝えてくれるというデモです。
IoTデバイス、HoloLensのAPI、インターネット上の外部サービスなど、様々なシステムをCOTOHAのようなエージェントをハブとして連携させ、ユーザは直感的に利用することができるようになります。
終わりに
本講演で見たように、HoloLensとIoT・AIを組み合わせることで、あらゆるソリューション間が連携し、作業前・作業中・作業後の業務フロー全体を一貫してサポートすることができます。またAIのエージェント的な利用を行うことで、これらのソリューション間を通信をユーザが意識することなく、直感的に利用することができるようになります。
プラットフォームやソリューション間をまたがって利用することで見えてくる新しい働き方。VR・AR・MRといった技術が今後どのようにビジネスの現場に取り入れられていくのか、期待が高まります。
