ホーム
PSVR
Oculus Go
Vive・Vive Pro
VTuber
AR/MR
スマホVR
ビジネス利用
VR動画
技術動向
イベント情報
ゲーム・アプリ
業界動向・将来予測
イベントカレンダー

VRの「いま」を掘りだすニュースメディア

MoguraVR

2018.06.01

【de:code】HoloLensが実現する働き方改革、IoTやAI活用

2018年5月22日から23日にかけ、日本マイクロソフトは開発者向けカンファレンス「de:code 2018」を開催しました。本イベントではマイクロソフトの新情報共有、様々な企業の技術展示、開発者による知見共有の講演などが行われました。

本記事では「HoloLensで実装するAIとIoT」という講演のレポートをお送りします。


(登壇したのはマイクロソフトテクノロジーセンターの鈴木敦史氏)

マイクロソフトが提供するMRデバイス・HoloLensは、トレーニングや作業支援など、現場の第一線で働く人に使用される機会が多いデバイスです。本講演はこのHoloLensやITを軸に、「現場の働き方をどのように変えることができるのか」というテーマに基づいて行われました。

HoloLensとIoT

HoloLensをIoT(Internet of Things)の文脈で利用しようとする場合に最も手軽なのは、HoloLens本体をIoTのエッジデバイス(Edge Device、IoTの「T」、すなわち「モノ」側)として使用するやり方です。HoloLensにはカメラや深度センサー、マイクなどが搭載されています。これを利用すれば、例えば現場作業等の様子を体験者の視点から記録しておくことができます。

ただ、これだけでは現場の人の働き方が変わるわけではありません。

HoloLensとAzure IoT

そこで、現場の人にHoloLensを活用してもらう方法として、既に利用しているデバイスをAzure IoTでHoloLensと連携させる方法が考えられます。例えば、既に稼働しているIoTデバイスのデータを、HoloLensを用いて可視化することができます。

講演会場では、有野いくさんによるデモが行われました。水道管のメンテナンスを行う際、HoloLensを通じて温度・湿度・流れた水量など、センサから取得したデータをレバーの傍にテキストでリアルタイムに可視化することができます。

こちらのシステムはIoT DevKit(IoTデバイス)を用いて取得したデータをIoT Hubに送り、IoT Hubを通じてHoloLensと通信をしてます。なおIoT DevKitは現在、日本国内で入手することは難しいため、海外から入手する必要があるとのこと。

Service Busの中にあるQueueにデータが入ったらFunctionが起動し、HoloLensにデータが送られるという仕組み。IoT Hubを用いることで、デバイス間の通信を簡単に行うことができます。IoT Hubのチュートリアルはこちらから。

現実環境では、複数デバイスの膨大なデータ処理に対応するため、図のような構造にすることが推奨されました。Power BIを用いることで、HoloLensを使っていない人もデータの確認ができるようになります。

HoloLensとOffice 365

現場の働き方を変える例として「Microsoft Remote Assist」の活用が挙げられました。このツールを利用することで遠隔地とのビデオ通話等が可能で、現場の作業者がトラブルに直面した際、専門家に素早くアドバイスを仰ぐなどの活用方法があります。

他にもOneDriveの資料をHoloLensの視界の中に表示する、遠隔地にいる人が視界の中にCGをマーキングするなどのことができるため、専門家が実際に現場に行かずとも、相手の視界を共有して指導ができ、作業効率の向上につながります。

(動画:Microsoft HoloLens: Collaborate with Microsoft Remote Assist to solve problems faster)

Remote Assistを先ほどのAzure IoTと組み合わせて活用することもできます。

Remote AssistはHoloLens対応のアプリケーションですが、同時にOffice 365の「Teams」も必要になります。Teamsの機能を拡張することで、先に述べた画面の共有やファイル共有、双方向でアノテーションを作るなどのことができるようになります。こうした機能をWindows PC、iOS、Androidなどのプラットフォームに関係なく利用することができます。


またスケジュール調整や報告書の作成など、現場以外の作業ではマイクロソフトの「Dynamics 365」を組み合わせることで、現場に限らず作業フロー全体を効率化することもできます。

例えばIoTデバイスにアラートが入った場合、「Field Service Mobile App」を使うことで、HoloLensからでもDynamicsの中で管理されている情報にアクセスすることができます。そして現場に行ってからはRemote Assistを用いて作業をし、報告書はHoloLensがカメラで記録していた一人称映像を元に作成する、といった流れが実現されます。

HoloLensとAI

HoloLensとAIを組み合わせる時、代表的なものにはHoloLensのカメラとマイクから情報をインプットし、ネットワークを通じてAIにアクセスする方法が挙げられます。例えば画像データを学習したAIを用意し、特定の物体が視界に入ったら通知を出すなどが可能となります。

しかしこうしたAIの使い方では、現場で作業している人は自分が行なっている業務に加えて、さらにHoloLensの操作をしなければいけません。場合によっては現場の作業を中断して、AIにアクセスするための操作を行う必要があります。

そこで鈴木氏はクラウド上のAIをエージェント化し、それを表現するキャラクターなどをCGで表示する手法を提案しました。この方法では、ユーザはエージェントと会話をする形式で必要なデータにアクセスします。

例えばOffice 365に登録されているユーザの連絡先が知りたい・連絡をしたい場合に、「◯◯さんを呼んで」などと話しかけるだけでこれを実現するなど。

会社のデータベースなど、HoloLensから直接アクセスするには手間がかかる情報を、クラウド上のエージェント(AI)に探索してもらうという方法です。

講演では、NTT研究所が開発したコミュニケーションエンジン「COTOHA」を組み合わせたデモが紹介されました。


(有野さんの目の前には、コピー機。HoloLensを通じて見ると、故障を意味する「ERROR」の表示が出る)

有野さんはIT部門のスタッフを呼び出そうとCOTOHAに依頼をします。COTOHAはOffice 365に登録されている社員のデータから、本件に対応ができそうな人の連絡先を検索し、必要なら連絡をします。今回は担当者が不在で繋がらなかったため、COTOHAにエラーの原因を教えてもらうことになりました。


するとCOTOHAは、コピー機のログデータにアクセスをし、いつの時点でエラーが発生したのか調べます。今回は赤く表示された場所で紙詰まりが起きたことでエラーが出ていることがわかりました。エージェントがIoTデバイスの情報にアクセスし、ユーザに音声でそれを伝えてくれるというデモです。

IoTデバイス、HoloLensのAPI、インターネット上の外部サービスなど、様々なシステムをCOTOHAのようなエージェントをハブとして連携させ、ユーザは直感的に利用することができるようになります。

終わりに


本講演で見たように、HoloLensとIoT・AIを組み合わせることで、あらゆるソリューション間が連携し、作業前・作業中・作業後の業務フロー全体を一貫してサポートすることができます。またAIのエージェント的な利用を行うことで、これらのソリューション間を通信をユーザが意識することなく、直感的に利用することができるようになります。

プラットフォームやソリューション間をまたがって利用することで見えてくる新しい働き方。VR・AR・MRといった技術が今後どのようにビジネスの現場に取り入れられていくのか、期待が高まります。

この記事を書いた人

ゆうのLv3

東京大学大学院学際情報学府修士課程,UT-virtual所属.趣味は音楽(作詞作曲編曲)や物語の創作.ストーリーテリングや人間の振る舞いを変化させるための強力なツールとしてVRに強く惹かれています.境界が曖昧なものと予測不可能なもの,そしてvirtualという概念が好きです。

Twitter:@yunoLv3

法人様向けVR/AR/MRサービスのご案内
Advertise on Mogura VR(English)

デイリーランキング

VTuber ライブ配信予定表

PSVR・Mirage Solo用ヘッドホン「Mantis」
軽量&疲れにくいデザイン

VR/AR/MRをビジネスでどう活用する?
体験&相談はお任せください!
VR/AR/MRショールーム 体験しながらビジネス相談「もぐラボ」

機材+コンテンツ+運営スタッフを
Mogura VR がフルサポート
機材+コンテンツ+運営スタッフを Mogura VR がフルサポート 「出前VR」

最寄りのVR体験スポットをワンボタンで検索!
VR体験施設の検索サイト「Taiken.tv」
VR体験施設の検索サイト「taiken.tv」

VR業界 2018年
バーチャルユーチューバー 最新情報まとめ
ニンジャマスクの購入はこちら! Mogura VR Store

「Insta360 Pro 体験説明会」 Advertisement

VR/AR/MR 用語集