Home » 【XR Kaigi 2021】遠隔支援の新たな鍵“コラボレーティブコンピューティング” 三菱重工も活用 


セミナー 2022.01.10

【XR Kaigi 2021】遠隔支援の新たな鍵“コラボレーティブコンピューティング” 三菱重工も活用 

国内最大級のVR/AR/MRカンファレンス「XR Kaigi」が今年も開催されました。今年の「XR Kaigi 2021」はオンラインカンファレンス「XR Kaigi Online」(11月15日~17日)と、リアル会場での展示・体験会「XR Matsuri」(11月25日・26日)のハイブリッドで実施。XR Kaigi Onlineでは、3日間の期間中に50以上のセッションが行われました。

今回はその中から、11月17日に行われた南国アールスタジオのセッション「WHITEROOMで実現するコラボレーティブコンピューティングの現在地 ~三菱重工様の事例から見る遠隔コミュニケーションの可能性~」をレポートします。

登壇者は南国アールスタジオの村上正樹氏、Andrey Kirpach氏の2氏。また、三菱重工から伊勢直史氏、江口純裕氏の2氏も登壇。セッションでは、南国アールスタジオが開発するWHITEROOM、および三菱重工と共同開発しているMHI Virtual Meeting Roomについて講演を行いました。

コラボレーティブコンピューティングが可能にする未来

セッションにはまず、南国アールスタジオのAndrey Kirpach氏が登壇。「コラボレーティブコンピューティング」の解説と、同社が手がけるMR遠隔会議システム「WHITEROOM」の紹介が行われました。


(コラボレーティブコンピューティングについて解説する、南国アールスタジオ Andrey Kirpach氏)

コラボレーティブコンピューティング(Collaborative Computing)とは、“HoloLensの父”として知られるMicrosoftのアレックス・キップマン(Alex Kipman)氏がde:code 2017で提唱した、Mixed Realityで実現する次世代のコンピューティングを表す言葉。南国アールスタジオにとっても、コラボレーティブコンピューティングはある種の近未来の予想像であり理想像でもあるとのこと。

具体的にコラボレーティブコンピューティングで可能になることのひとつとして、それぞれのユーザーが、自分の周囲の現実空間そのものをコラボレーションスペースとして自然に使えるようになることが挙げられます。

また、現実空間内にあるリアルな物質と、バーチャル空間にあるデジタルコンテンツの両方を、コラボレーションの素材として自由に使うことができるようになるとKirpach氏は解説します。

さらに、ユーザー同士が同じ物理空間内にいても離れた場所にいてもコラボレーションが可能になります。加えて、スマートフォンやPC、XRデバイスなど、さまざまなデバイスからコラボレーションスペースに参加することができるのもコラボレーティブコンピューティングの特徴だと言います。

そしてこのようなコラボレーティブコンピューティングをすでに実現しているのが、南国アールスタジオが開発するWHITEROOMであるとKirpach氏は言います。

(WHITEROOMの紹介動画。ロングバージョンはこちら

WHITEROOMのユースケースは、大きく分けて2つに分類できるとKirpach氏。具体的には、作業者間の知識伝達や遠隔トレーニングへの活用と、議論やデザインなど高度なコラボレーションを必要とするオフィスや教育現場などでの活用が挙げられました。



(ファーストラインワーカー、インフォメーションワーカーともに活用の機会がある)

Kirpach氏によれば、WHITEROOMは遠隔地にいながらも密で豊かなコミュニケーションを実現する、コラボレーティブコンピューティングを実現したサービスとのこと。また、WHITEROOMが三菱重工の遠隔支援プラットフォームの基盤として採用され、2020年11月より共同開発を行っていることが紹介されました。

三菱重工と共同開発する「MHI Virtual Meeting Room」

続いては、三菱重工から伊勢直史氏が登壇。南国アールスタジオと共同開発しているMHI Virtual Meeting Room(MVM)について紹介しました。


(三菱重工ではMVM以前から独自にMRアプリの開発を行っていた)

三菱重工では、製品設計段階で制作された3Dデータを、建設現地で有効活用できないかを検討していたとのこと。そのためのツールのひとつとして、2018年にはMicrosoft HoloLensに注目し、MRプロジェクトが始動しました。

プロジェクトでは実際にいくつかのアプリケーションを制作し、2019年の高砂工場での導入検証を経て、XRの展望と3Dデータの有効活用に確信を持つことができたと言います。最近でも、建設現地に効率化するアプリケーションを導入し、現場から高い評価を得ているそうです。

MHI Virtual Meeting Room開発の経緯

2020年、新型コロナウイルス感染症(COVID-19)の感染拡大は三菱重工にも大きな影響を与えました。特に社員の海外渡航制限は、プロジェクトの損益に関わるほどの影響があったとのこと。

そこで三菱重工では、グループ共通で活用できる遠隔支援/バーチャル会議システムの開発検討を開始。その中で伊勢氏は、たとえコロナ禍が収束したとしても、遠隔支援のニーズは残るだろうと確信したと言います。

しかし一方で、三菱重工が扱うデータには機密レベルの高い、原子力発電プラントや防衛省に納品する防衛関係のものがあるため、セキュリティリスクの観点からクラウドベースのシステム導入はNG。

そこで、サービスだけを購入するのではなく、三菱重工グループとして内部運用できる遠隔支援の仕組みを検討した結果、WHITEROOMをベースにするという結論にたどり着いたそうです。


(コロナ禍がMVM開発のきっかけになったという)

MHI Virtual Meeting Roomに求められたもの

三菱重工グループ内でヒアリングを実施した結果、「遠隔支援ツールに求めること」として、次の5つがまとめられました。

1:遠隔地から建設現地や工場の作業員に、リアルタイムで作業指示がしたい
2:若手からベテラン作業員の誰もが使えるアプリにしたい
3:図面や3Dデータを見ながら作業指示・作業がしたい
4:クラウド環境だけでなく、オンプレミス環境でも運用できるようにしたい
5:これまでに三菱重工で開発したHoloLens向けアプリを使用したい

特に4つめの要望は、原子力や防衛関係の製品を扱う三菱重工グループならでは、かつ必須の条件でした。

これらの要望を南国アールスタジオに相談したところ、WHITEROOMをベースにカスタマイズを施した、三菱重工グループのニーズに応えるシステムの開発を提案してもらえたと伊勢氏は解説しました。



(グループ社内でのヒアリングの結果、遠隔支援システムには大きく5つの要素が求められた)

WHITEROOMを基盤として採用した理由

MHI Virtual Meeting Roomには前出の要望に加え、DXと拡張性に対する要求があるという伊勢氏。

DXとは、これからの時代に求められる新しい仕事のしかたに適用できるということ。遠隔支援やリモート会議など、数年前には当たり前でなかった仕事のしかたがこれからもっと増えていくことを見越して、MHI Virtual Meeting Roomを活用した仕事の変革を考えていくと伊勢氏は言います。

また、拡張性に関しては、既存の内製MRアプリとの連携や、新機能の追加を考えているとのこと。一般販売されているシステムでは機能を1つ増やすだけでも大変だが、WHITEROOMをベースにしたMHI Virtual Meeting Roomであれば、すばやくカスタマイズができるだろうとしました。

最後に「他のXRアプリケーションとの融合など、MHI Virtual Meeting Roomはさらなる進化を続け、三菱重工グループの共通基盤として展開していく」と語り、伊勢氏のパートは終了しました。


(MHI Virtual Meeting Roomに求められたもの)

MHI Virtual Meeting Roomの想定利用シーン

伊勢氏に続いては、同じく三菱重工の江口氏が登壇。MHI Virtual Meeting Roomの想定利用シーンについて解説しました。

想定利用シーン(1):遠隔支援

MHI Virtual Meeting Room、1つめの想定利用シーンは現地作業の遠隔支援。江口氏によれば、現場とオフィスの1対1支援だけでなく、別の拠点から参加して支援することも想定しているとのことです。


(現場作業者に対して複数のオフィスから遠隔支援するケースも想定している)



(セッションでは、現場(HoloLens 2)・遠隔支援者(iPhone)・オペレーター(PC)の三者でリモート協業するデモ動画も公開された)

想定利用シーン(2):デザインレビュー

2つめの想定利用シーンとして、デザインレビューの例をデモ動画で紹介。設計段階で作成した3Dモデルを、関係者でレビューすることができます。バーチャル空間上で、あたかも同じ会議室にいるかのようにデザイン確認できるため、一般的なWeb会議に比べてはるかに高度な合意形成ができるとしました。


(おたがい離れた場所にいるメンバーが、同一のバーチャル空間内でミーティング)


(バーチャル空間上の3Dモデルとドキュメントを、参加者(アバター)間で共有表示できる)


(アバターで参加しているユーザーが描画した仮想マーカーをリアルタイムで共有)


(3Dモデルと仮想マーカーを用いることで、認識違いの防止や合意形成が容易に)

MHI Virtual Meeting Roomの今後の展望

江口氏は最後に、MHI Virtual Meeting Roomの今後の展望について解説。海外現地や工場への遠隔支援、顧客とのリモート商談、アバターと3Dモデルを使用したバーチャルトレーニングなど、これから追加される機能も含め、MHI Virtual Meeting Roomをさまざまな用途で活用していきたいと語り、江口氏のパートは終了しました。


(MHI Virtual Meeting Roomは今後もさまざまな用途で活用できるとする)

WHITEROOMの現状と今後の展開

江口氏の次は、南国アールスタジオの村上正樹氏が登壇。WHITEROOMの現状と今後の展開について紹介しました。

WHITEROOMの現状


(2018年から開発してきたWHITEROOM。2022年以降も製品として進化を続ける)

WHITEROOMは2018年から開発に着手し、2020年7月から正式サービスを開始。当初は初代HoloLensで開発していましたが、HoloLens 2が発売されてからは、UI/UXを大幅に見直し、より直感的に操作できるように改善を続けてきたとのこと。

また、市場に投入を開始した当初は、空間共有やリアルアバターによるリアルタイムコミュニケーションの基盤として「これまでできたことが、WHITEROOMでもできる」の実現を目指していたが、2021年からはさらにXR体験を向上させ「これでまでできなかったことが、WHITEROOMによってできる」への挑戦を行ってきたと言います。

そして2022年にはWHITEROOM V3のリリースも予定。さらなるXR体験の付加価値を追及すると語り、WHITEROOM V3で追加予定の新機能を紹介しました。

WHITEROOM V3で予定されている新機能

■VR対応

(V3ではMeta Quest 2からのWHITEROOM参加が可能に)

1つめはVRへの対応。Meta Quest 2からWHITEROOMに参加可能になり、VRとMRを融合した、マルチプラットフォームでのコラボレーションが実現します。なお、VR版のWHITEROOMでは応接室やプレゼンテーションルームなど、会議の規模や利用シナリオに応じて仮想空間を変更できるとのこと。

村上氏は、VR対応を行うことでMRより安価なデバイスでも参加可能になるだけでなく、VR特有の没入感を活かしてより幅広いユースケースに対応できるとしました。

最終的な展望としては、フォトグラメトリやCADデータを用いて現実空間自体を3Dモデル化し、仮想空間のシーンとして利用できるようにしたいと言います。現実空間と仮想空間の垣根なく、同じ空間をさまざまなデバイスで共有してコミュニケーションがとれるシステムの実現を目指すということです。

■iOSでの3人称視点による参加機能

(iOSでの三人称視点の追加により、デバイスの取り回しが便利になる)

2つめはiOSでの三人称視点による参加機能。今までiOSデバイスではAR機能を利用した参加が実装されていましたが、それに加えて三人称視点での参加機能が追加されます。

iOS版ではこれまで、ARを利用した、歩き回れる参加機能を搭載していました。しかし、「iPhoneやiPadを持ちながら会議に参加し続けるのは疲れる」「自宅から参加する場合に十分な移動スペースが確保できない」「AR機能の利用はバッテリー消費が激しく、デバイスを充電しながら参加するのが難しい」などの意見がユーザーから寄せられたことを受け、今回の新機能実装にいたったとのことです。

三人称視点では画面上に自分のアバターが表示され、従来の3Dゲームなどのようにアバターを操作して会議に参加できます。画面内の操作で完結するため、椅子に座ったまま、デバイスをスタンドに立てたまま、充電をしながらの参加も可能になると説明しました。

また、従来のAR機能がオプション化したことで、AR機能を有していないiOSデバイスからも参加可能になり、より多くのユーザーがWHITEROOMを利用できるようになると語りました。


(2つの新機能の追加により、ミーティング参加方法の選択肢が増える)

2つの新機能の追加により、シチュエーションに合わせた参加方法を選択できるようになると村上氏。同じ現実空間から参加するユーザーはHoloLens 2またはiOSのAR機能を使用したMRで、会社や自宅などの遠隔地から参加するユーザーはVRやiOSの三人称視点モードで、といった組み合わせも可能になります。

また、会議開始時に指定した場所からの位置情報を共有すれば、VR参加であっても同じ場所で同じものを見たり、相手の動作を確認しながら会話したりなど、現実空間と仮想空間が融合した体験が可能になるとしました。

■オーサリング機能

(β版にはあったものの、時期尚早として製品版では削除されていた機能が復活)

3つめの機能は、外部からアップロードされた素材に対し、コーディングなしでインタラクティブな動作を設定できるオーサリング機能。

WHITEROOMのオープンβ版では実装していた機能ですが、当時はまだMRデバイスの普及台数が少なかったことや、MRデバイスの操作に慣れていないユーザーが多かったために製品版リリース時には外されていた機能とのことです。

オーサリング機能を用いることで、あらかじめ設定されたオーサリング情報を条件に応じて実行することが可能になります。例えば製品のプロモーションコンテンツにおいて、製品の3Dモデルにユーザーが近づくとドキュメントや音声が再生されるといった利用イメージが説明されました。


(オーサリング機能を用いて制作された、防災トレーニングのコンテンツ例)

■同時翻訳機能

(同時翻訳機能により、空間だけでなく言語の壁をも越えたコミュニケーションが可能に)

4つめの新機能は音声の同時翻訳。音声通話の内容を認識し、通話相手の言語に翻訳した音声データを再生します。また、アバターの近くには吹き出しとして翻訳した文章が表示されるとのこと。

同機能はネットワークの回線速度に大きく影響を受けるため、ある程度の遅延が発生することが予想されるものの、WHITEROOMで体験できるコミュニケーションをより幅広く、よりよいものにするための施策のひとつとして導入すると村上氏は述べました。

今後の展望


(V3ではセッションで紹介されたもの以外にも複数の新機能を追加予定)
WHITEROOM V3ではその他、点群表示や、付せん機能なども実装予定とのこと。将来的にはWHITEROOMを用いて制作したコンテンツを他社へ公開したり、ユーザーのアクティビティをロギングして分析したりといった使い方もできるように拡張を続けていくとのこと。

最後に、V3のリリース後はすぐに次バージョンとなるV4の開発に取りかかる予定だと宣言し、村上氏のパートは終了しました。

問い合わせは大歓迎

最後は再びKirpach氏が登壇。セッションの内容をまとめるとともに、WHITEROOMに興味を持った人は気軽に問い合わせてほしいと呼びかけてセッションは終了となりました。


(WHITEROOMではサービス導入後のサポートも大切にしているとのこと)


VR/AR/VTuber専門メディア「Mogura」が今注目するキーワード