【XR Kaigi 2023】MRデバイスだからこそのリアルタイム作業支援。NTTコノキュー「NTT XR Real Support」導入から見えた課題と展望

XR/メタバースをテーマとした国内最大級のカンファレンス「XR Kaigi」が今年度も開催されました。今年の「XR Kaigi 2023」は「さらに未来に近づく10年へ」をテーマとし、オンラインと現地、双方で計60以上のセッションが実施されています。

今回はその中から、12月21日に行われたセッション「コノキューの遠隔作業支援サービス『NTT XR Real Support』を通して得たB向けXR事業の進め方」をレポート。登壇者は、株式会社NTTコノキュースキルサポートDXプロジェクト/テクノロジー部門プロダクトリーダーの浅井勇大氏です。

“今”使えるソリューション提供にこだわるNTTコノキュー

冒頭、浅井氏は登壇時点で株式会社NTTコノキュー(以下NTTコノキュー)が取り扱っている各種デバイスを装着した姿で登場。同社における事業展開の幅広さが伺えます。

続いて、NTTコノキューの概要が紹介されました。NTTコノキューは、2022年9月にNTTグループにおけるXR事業推進を目的に事業を開始（設立は2023年10月）。NTTグループが持つ広域通信インフラを活用し、XR事業を展開しています。また、2023年4月には新たなXRデバイスの開発・普及を目指す「株式会社NTTコノキューデバイス」を子会社として設立しました。

浅井氏は「あえてXR技術に固執せずに、今ある手段（技術・デバイス）を用いてユーザーの課題解決に価値提供できるように、B向けXR事業を展開しています」と語り、あくまでも現時点でのソリューション提供を目指す同社の姿勢をアピール。

一方で、最新技術をキャッチアップする必要性も強調しており「このバランスを重要視しています」（浅井氏）とのことです。

同社の法人向けサービスは下記画像の通り。

今回のセッションでフォーカスする「NTT XR Real Support」は、現実世界にAR/MR上の仮想情報を与えて課題を解決していくサービスとして提供されています。なお、VR/メタバース領域では、3Dバーチャルオフィスサービス「NTT XR Lounge」を展開しています。

XR事業発展を支えるのは特定用途向け法人サービス

NTTコノキューは「リアルの限界を超えて、夢や思いを体験し、共感しあえる世界へ」とのビジョンを掲げており、その実現には「デバイスの進化」「インフラの整備」「サービスの充実」の3要素が必要としています。この3要素の発展には「中長期的な取り組みを下支えする、特定用途に特化した法人向けXRサービスが最適であり必須」だと浅井氏は説明します。

では、「特定用途に特化した法人向けXRサービス」が効果的な市場はどこにあるのか。NTTコノキューは「工事や手術のように場所に依存する仕事（Onsite Woker）」と「訓練や会議のように場所に依存しない仕事（Anysite Woker）」に狙いを定め、前者にはAR/MR技術、後者にはVR技術でアプローチすることで新規事業を開始しました。ゆくゆくはさらなる事業開発や、両事業の融合も検討しているとのことです。

遠隔作業支援ソリューション「NTT XR Real Support」

「NTT XR Real Support（以下、Real Support）」は、NTTコノキューが法人向けに提供する遠隔作業支援ソリューションです。遠隔支援者は、Webブラウザから現地作業者に指示を出します。現地作業者は、マイクロソフトのMRデバイス「HoloLens2」やヘルメットと一体化した「Trimble XR10」、iPhone、iPadを通じてその指示を確認できます（執筆時点での公式サイト参照）。2024年2月からは、Vuzixのスマートグラス「Vuzix M4000」も対応予定です。

MRデバイスを使うことで、遠隔支援者がPC画面上につけた印を共有し直感的な指示ができる「空間ポインティング」や、手順書を空間上に表示する「3Dフロー」などの機能が利用可能。最大6名での同時通話やマニュアル作成、一般的なWeb会議ツールの各種機能が利用できます。

Real Supportの主なターゲットは工事現場を含むインフラ業界や製造業界、手術が必要となる医療業界。DX推進を加速させるソリューションとして提供しています。

Real Supportはドコモグループの通信ネットワーク保全業務に導入されています。現在は九州エリアでトライアル中で、今後、全国に展開予定です。また製造業専門商社では、お客様への製品サポートにReal Supportを採用。松井氏によると「電話対応時間を約1時間から10分に削減できた」とのことです。

ここで、セッション聴講者から導入による効果測定について「どういった指標を採用しているのか。時間削減以外の効果も伺いたい」との質問が寄せられました。

浅井氏は「非常に難しいところではあります。そもそもReal Support導入以前に、どれくらいの時間や工数がかかっているのか具体的にわからない場合も多々あります。そこで私たちは、導入過程で現状の作業時間を測定しつつ、導入後の作業時間も併せて測定する対応を取っています。そうすることで、Real Supportを使うと作業時間測定がしやすくなる点もお伝えしています。また人数や交通費など目に見えるコスト削減や、作業操作履歴を使っての研修時間の圧縮なども、効果測定の指標として明示できています」と回答しました。

導入・実現課題をひとつずつ解消へ

ここからは実際に、Real Supportを法人顧客に導入した際に生じた課題が紹介されました。

ビジネス面での課題1. 採用デバイスがスマホメインになっている

松井氏は「『HoloLens2』採用を検討した顧客は提案中の20%に留まり、スマホアプリでのソリューション提供のニーズはいまだに高い」と語り、特に価格面と運用面が障壁となっていると感じているそうです。一方で、製造業や建設業ではハンズフリー需要が高く、防塵防水性能も優れているMRデバイスの人気は以前として高いとのこと。2024年2月に対応予定のVuzixのスマートグラス「Vuzix M4000」をはじめ、マルチデバイスソリューションとして売り出す戦略を立て、課題解消を目指します。

ビジネス面での課題2. 競合サービスとの戦い

XR技術はあくまで手段であり、ユーザーに採用されるには他サービスとの差別化が必要です。特に、Web会議ツールは強力な競合。Real Supportは「MR技術をメイン機能とし、高度なマニュアルの読み合わせの実現が可能。画面共有ではできない、まるで隣にいるようなコラボレーション」（松井氏）を売りに差別化を図っています。

さらに導入したことで見えてくるニーズや差別化要素も重要とのこと。Real Supportの録画・作業履歴機能は、研修素材や作業報告提出書、事実判定資料などに頻繁に活用されていることもわかってきました。特に、実際の導入企業では「画像証跡保存」としての利用が多いようです。

ビジネス面での課題3. 部門間の乖離、期待値のズレ

現場部門と管理部門で、導入に対する温度感が異なることも課題の一つです。NTTコノキューは両部門の足並みが揃っている潜在顧客にフォーカスし、スムーズな導入を目指しています。

また、オンラインでサービス説明を行っても実際の業務イメージがわきにくく、期待値の齟齬が発生しやすいそう。同社は手間を惜しまずに現地で対面営業を行うことで、期待値のズレを防いでいます。

技術面での課題1. 「HoloLens2」のWebRTC運用

Real SupportはWebRTCを採用することで、遠隔での音声・映像のリアルタイム共有をマルチデバイスで実現しています。しかし「HoloLens2」向けのWebRTC用SDK（Microsoft　MixedReality-WebRTC）は最終更新が2020年9月末、2023年12月現在ではアーカイブ済みとなっています。Unity公式ライブラリでもWebRTCは提供されていますが、「HoloLens2」が動作するプラットフォーム「WindowsUWP」はサポート提供対象外です。

そこで、WebRTCサービスを提供している株式会社時雨堂と連携。同社サービス「WebRTC SFU Sora」のUnity SDKを「HoloLens2」対応可能としてもらい、Real Supportでの「HoloLens2」運用が可能となりました。

技術面での課題2. スマホでの空間認識

Real Supportでの「空間ポインティング」機能をスマホで実現するには、空間認識の手法や自己推定位置精度の高さが鍵となってきます。

iOS端末に関しては、iPhone Proシリーズ端末であればLiDARセンサにより高度な空間認識が可能で、Real Supportに対応しています（iPhone Proシリーズ以外の端末は、平面検知機能を利用）。

一方、AndroidOS端末では当初「ARフレームワーク『ARCore』内の機能である『Depth API』を採用する方針だった」（松井氏）とのこと。しかし検証の結果、「Depth API」ではReal Supportが求める空間認識精度に至りませんでした。現時点では、平面検知機能を使用しています。

「ユーザーの多くは、Proシリーズ以外のiOS端末かAndroidOS搭載のスマホを使用しており、今後のARKit / ARCoreの精度向上に引き続き期待している」と松井氏は語りました。

技術面での課題3. スマートグラスでの空間認識

2024年2月に対応予定のVuzixのスマートグラス「Vuzix M4000」は、「AndroidOS搭載デバイスのため、ARCoreによる運用を考えていた」（松井氏）とのこと。

しかし、ARCoreはGooglePlay開発者サービス（AR）をインストールしなければ使用不可であり、かつ、GooglePlay開発者サービス（AR）はGooglePlayStore経由のみのインストールに限られています。一方でVuzixデバイスは、独自ストアの「Vuzix App Stotre」でのみアプリインストールが可能であるため、結果的にVuzixデバイスのARCore使用は不可能に。

そこで、NTTコノキューは新機能「リアルタイムポインティング」を開発。この機能では遠隔支援者がPC画面上にカーソルを当てるとリアルタイムで相手に共有できます。これまでの「空間ポインティング」機能とは異なり、事前の空間キャプチャが不要です。

Real Supportを起点に様々な取り組みを展開

同社はReal Supportから派生した取り組みにも注力しています。

東京医科歯科大学とは、共同研究事業「Project the Hands」を進行中です。同事業は、MRデバイスを通して視野にベテラン医療者の技術を投影し、研修医など経験の少ない医療者の技術支援の実現化を目指します。

「Project the Hands」は、Real Support同様の空間認識を活用しつつも、あえてハンドトラッキング機能やアイトラッキング機能、3Dオブジェクトの表示機能を排除し、現場での使いやすさを重視しているとのこと。現在は次のステップとして、”感覚的で連続性のある情報をリアルタイムで立体的に伝えられる”というMR技術の利点を、最大限活用できるような研究開発を進めています。

松井氏は「医療業界は、ITリテラシーの高さや機材導入への投資意識もあり参入障壁が低い。MR技術と相性がいい領域です。教育ツール、もしくはリアルタイム作業支援ツールとしての提供を目指している」と語りました。

また同社は、昨今盛り上がりを見せるAI技術の活用も検討しています。OpenAI APIを活用したReal Support新機能の提供を、2024年春頃リリースを目処に開発しているとのことです。AI技術の活用によって、遠隔支援者側の作業リソース削減を目指します。

浅井氏はOpenAI APIを活用した個人的な開発も行っています。ドコモ開発者ブログからOpenAI APIを連携させたバーチャルアバターアシスタントの閲覧が可能です。

最後に、浅井氏は「Real Supportの対応デバイス追加を検討中」と明らかにしました。「Magic Leap2」「Meta Quest3」「Vision Pro」などのパススルー型や、「XrealAir」などのスマートグラス型など幅広く検証を続け、現地で働くOnsiteWorkerに適したデバイスを採用していく方針です。なお、NTTコノキューのXRテックブログでは、新デバイスのアプリ開発記事も公開されています。