2020年12月8日から10日の3日間にわたってオンライン開催された、国内最大級のVR/AR/MRカンファレンス「XR Kaigi 2020」。イベント期間中にはオンライン展示のほか、計50以上のセッションが行われました。
今回はそのXR Kaigi 2020の中から、あらためて振り返っておきたいセッションをMogura VR編集部がピックアップ。シリーズとしてレポート記事を掲載します。レポート記事の1本目は、オープニングを飾る基調講演に続いて行われた、日本マイクロソフトによる特別セッション「さらなる進化を続けるMixed Realityの世界について」です（※記事内に登場する各種データはXR Kaigi 2020開催当時のもの）。
法人市場で実績を重ねるマイクロソフトのMR戦略
（日本マイクロソフトの上田欣典氏（左）と鈴木敦史氏（右））
セッションには日本マイクロソフト プロダクトマーケティングマネージャーの上田欣典氏と、マイクロソフトテクノロジーセンター テクニカルアーキテクトである鈴木敦史氏の二人が登壇。まずは上田氏から、マイクロソフトが推進するMR（Mixed Reality、複合現実）のテクノロジーや、市場に関する最新情報が語られました。
現場への導入が進むMixed Reality
マイクロソフトのMRデバイス「HoloLens 2」、そしてそれを支える「Mixed Realityサービス」は現在、特に企業の現場を中心に普及し始めていると語る上田氏。その一例として、トヨタ自動車で2020年10月から導入されたHoloLens 2の事例を紹介。実際に整備士の業務に使用されているのはもちろん、働き方改革という文脈でも活用されているといいます。
（トヨタ自動車での導入事例。マニュアルの3D化、新型車の機能解説、作業手順ガイド、遠隔支援など、さまざまな用途で活用されている）
マイクロソフトが掲げるMixed Realityは、AR（Augmented Reality、拡張現実）、VR（Virtual Reality、仮想現実）の両方を包含する概念であると同時に、マイクロソフトではこのMixed Realityが次世代のコンピューティングプラットフォームになると考えているとのこと。
（AR/VR/MRの関係を示した図。MRはAR/VRの両方を包含する）
（Mixed Realityをスマートフォン・モバイルデバイスに続く「第4のコンピューティングプラットフォーム」と位置づけている）
Mixed Realityのテクノロジーを使うことで、パソコンやスマートフォンなど、小さな2Dの画面の中でしかデジタルの恩恵を受けられない現状から、デジタルの情報を現実世界の中に引っ張り出し、3Dの世界に拡張することで人々の働きかたがまた新たに変化していくだろうと上田氏は言います。
（MR市場は今後急速に拡大すると見込まれている）
マイクロソフトの調べによると、Mixed Realityの市場は急速に成長しています。Mixed Realityの世界市場は2025年までに約343億ドル（3兆5670億円）にまで拡大すると見込まれており、その半分はコンシューマー市場、そしてもう半分が法人市場です。
法人市場はさらにファーストラインワーカー（作業現場で働く人々）とインフォメーションワーカー（いわゆるオフィスワーカー）に分類され、Mixed Realityがそれぞれの現場の働きかた改革に活用されていくとしています。なかでも直近2、3年はファーストラインワーカー市場が成長していくと考えられており、マイクロソフトでも法人市場にフォーカスしてMixed Realityの市場を作っていこうとしているとのこと。
また、Mixed Realityのテクノロジーは「ハードウェア」「OS/クラウド」「アプリ/コンテンツ」の3つのカテゴリに分類でき、市場形成期の2020年現在はハードウェアがメインだが、今後はOS/クラウド、そしてアプリ/コンテンツ市場が大きく伸びていくだろうと上田氏は解説します。
Mixed Realityの効果も実証されつつある
Mixed Realityの活用は製造・建築・医療・小売・教育などの業界で進んでいますが、マイクロソフトが他企業との取り組みを進めるなかで、効果が実証された事例も見えてきたとのこと。
（トレーニング＆シュミレーション、作業支援＆タスク管理、遠隔支援など、さまざまな用途での活用が加速している）
（ROIが実証された例として、ロッキード・マーチン社およびCase Western Reserve大学のケースを紹介）
ROI（Return on investment、投資利益率・費用対効果）が実際に実証された事例として、セッションではロッキード・マーチン社の事例を紹介。2021年の有人宇宙飛行を目指すオリオン宇宙船の建造でHoloLens 2およびMixed Realityを活用し、宇宙船1機あたりの建造費用を約2億円削減できたといいます。
さらにCase Western Reserve大学の事例では、医学部の学生向けにHoloLens 2を利用したリモート学習プログラムを実施。紙の教科書を使用する学生に比べて成績が約50％向上、学習後に維持された知識量が120％多いなど、効果の実証がしにくいと言われるトレーニング・学習の分野においてもハッキリとした結果が見られるようになっているそうです。
この状況について上田氏は「漠然と“役に立ちそう”というフェーズから“実際に効果が出る”フェーズに移ってきた」と語ります。
新型コロナウイルスでMixed Realityの需要が急増
また、新型コロナウイルス感染症（COVID-19）拡大の中、ファーストラインワーカーの作業現場でMixed Realityの活用が急速に加速しているといいます。活用は遠隔支援・トレーニング・作業支援・遠隔コミュニケーションなどの分野で進んでおり、マイクロソフト社に対する問い合わせもコロナ以前に比べて約3倍以上に増えているとのことです。
マイクロソフトのMixed Realityを構成するテクノロジー群
ここで上田氏に代わって鈴木氏が登壇し、Mixed Realityのテクノロジーについて紹介。まずはHoloLens 2の3つの操作方法、「手による操作」「声による操作」「視線による操作」に関する解説が行われました。
HoloLens 2：手を使った操作
HoloLens 2は本体の両側に環境認識センサーがあり、両手の指の関節の位置と角度を認識します。HoloLens 2を着用し、センサーの認識範囲内で手を動かすことで、見えている映像の大きさを変えたり位置を変えたり回転をさせたりすることができます。
（着用者の手の映像にメッシュ状に手のCG映像が重なっている。これがHoloLens 2が認識している認識している手の位置と動き。両人差し指の先にある青い球が操作に使える部分で、フィンガーチップ（Finger Tip）と呼ばれる）
（手から出ている線はハンドレイ（Hand Ray）と呼ばれるもので、遠くにあるものを操作するときに使用する（近くにあるものは直接手でつかめる））
その他にも、ボタンを押す・スライダーを動かす・複数のオブジェクトを（両手で）別々に同時に動かす・遠くにあるものをハンドレイで引き寄せる/操作するなどもできます。
（平面を認識し、落下する3Dオブジェクトをそこにとどめることができる）
また、HoloLens 2で見ている空間にあるオブジェクトには重力を設定することもでき、重力が設定されていない場合は手を離しても空中に留まりますが、重力を与えると手を離した場合は下に落ちるようになっています。HoloLens 2は平面認識もしているので、平面があればそこで止まるようにもなっています。
HoloLens 2：声による操作
HoloLens 2では音声入力による操作・入力も可能。複数言語に対応しており、日本語はもちろん、他言語でも操作ができます。
（日本語のほか、複数の言語に対応している）
HoloLens 2：視線による操作
アイトラッキング機能を利用した視線による操作は、初代HoloLensにはなかった操作方法です。視線での操作を使えば両手が空くため、手に何かを持っているときや、何かの作業をしている最中でも、文章をスクロールさせたり表示を切り替えることができるようになります。
視線の入力で使っているのはHoloLens 2本体の内側についている赤外線センサーで、着用者の黒目の位置を読み取っています。また、黒目の位置を読み取ると同時に黒目の中にある光彩も読み取っており、光彩によるユーザー認証も利用可能です。
（視線によって画面がスクロールしている様子を紹介するデモ）
（光彩認証はWindows 10の標準機能「Windows Hello」にも搭載されている）
なお、3つの操作・入力方法は組み合わせて使うことも可能。例えば、目で見ている場所を拡大したりあるいはスクロールさせたりを、音声操作に合わせて行うことなどができます。さまざまな入力の方法を組み合わせることで、初めてHoloLens 2を使う人でも直感的な操作ができるとのことです。
（多様な入力方法で、初心者でも操作しやすくなるよう設計されている）
HoloLens 2以外のMixed Realityテクノロジー
（マイクロソフトが提供するMixed Realityテクノロジーの全体像）
マイクロソフトのMixed realityテクノロジーはHoloLens 2だけではありません。3Dでモーションキャプチャを行うセンサーデバイス「Azure Kinect DK」の販売や、ARKitやARCoreを通じたモバイル端末への対応も進めています。その他、クラウドと連携してさまざまな機能を開発するAzure Mixed Realityサービスや、すぐに業務の現場で使えるMixed Realityアプリケーションなども提供しています。
すぐに使えるMixed realityアプリ「Dynamics 365」
マイクロソフトが提供する「Dynamics 365」には「Remote Assist」「Guides」「Product Visualize」という3つのMixed realityアプリケーションがありますが、セッションではそのうち「Remote Assist」「Guides」について解説が行われました。
現場での問題解決や遠隔支援に使える「Remote Assist」
（Remote Assistの利用用途）
Remote Assistは、HoloLens 2からMicrosoft Teamsの会議に参加することができるアプリケーション。Remote Assistで特徴的なのは、HoloLens 2の空間認識機能を使って離れたところから直接指示を出したり、ドキュメントを共有することができる点です。
Teamsで着信に応答すると、離れたところにいるHoloLensのカメラの映像をTeamsの画面から見ることができます。作業者が現場で何か問題を解決しなければならないときに、声の指示だけではなく資料を共有することでお互い同じ情報を見ながら作業を進められます。
さらに単に映像を見ているだけではなく、HoloLens 2の空間認識機能を使って、いま見ている空間の中に直接アノテーション（Annotation）と呼ばれる書き込みをして指示を出すことも可能です。
（Remote Assistの利用シーン。Teamsでのコミュニケーションやドキュメントの共有ができる）
（アノテーションとして空間上に矢印を記入。作業者が移動しても同じ場所にちゃんと見える）
その他、作業した様子を写真や動画で記録に残したり、ファイルの保存をトリガーにして作業報告書を自動作成するワークフローを実行したりなどができることも紹介されました。
また、セッションではRemote Assistを使った武蔵精密工業の事例を紹介。今まで実際に海外の現地まで行って作業していたものをRemote Assistに置き換えることで、移動費用や作業時間が削減できるなど、さまざまなメリットが生じたといいます。
（武蔵精密工業の事例。海外渡航費用などを大幅に節約できた）
なお、Remote Assistは1対1だけでなく、複数の人間が会議をしながら遠隔で作業者を支援するシーンも想定しており、その場合にはSurface Hub 2Sを活用すると効率よく指示を出せるとの説明もありました。
（Surface Hub 2Sを使って遠隔で指示を出している様子）
遠隔での作業支援に活用できる「Guides」
（Guidesの利用用途）
Guidesはトレーニングや作業支援に活用できるアプリケーション。HoloLens 2で見ている空間の中に直接空間への指示を出したり、あるいは動画や3Dコンテンツを使って作業の仕方を説明することができます。
また、作業をしながらその裏では作業のステップごとの所要時間を記録できるようになっており、作業やトレーニングの所要時間や作業効率の数値化もできるとのことです。
（文字情報、動画/静止画、空間アノテーションの3つの方法で作業を指示ができる）
（作業にかかった時間などを数値化。作業効率の改善などに活かすことができる）
独自のMRアプリケーション開発には「Azure Mixed Reality」
（新たに「Object Anchors」が追加されたAzure Mixed Realityサービス）
Dynamics 365はユーザーがすぐに利用できる一方、クラウドからSaaSとして提供しているためカスタマイズができません。新規にアプリケーションを開発したい場合はAzure Mixed Realityサービスを利用することで、用途に合わせたアプリケーションを開発することができます。セッションではAzure Mixed Realityの3つのサービス「Azure Object Anchors」「Azure Remote Rendering」「Azure Spatial Anchors」が紹介されました。
トヨタ自動車でも利用されている「Azure Object Anchors」
Object Anchorsは、事前に登録された3Dモデルを学習させることで、現実の空間に存在している物体とCGの位置合わせをすることができるサービス。そこからさらに内部構造を表示したり、表示切り替えもできるようになっています。
（トヨタ自動車でのObject Anchorsの利用事例を動画で公開）
高精細な3Dデータをストリーミング「Azure Remote Rendering」
Remote Renderingはクラウド上でレンダリングした3DデータをHololens 2やPCなどの端末にストリーミングするサービスです。
HoloLens 2の中で3Dオブジェクトを表示する際、HoloLens 2自身の性能だけでは高精細な3Dデータを表示することはできませんが、Azure Remote Renderingを使えばHoloLens 2に高精細なデータをストリーミング配信して表示させることができます。
（高精細データな3Dデータを表示する際、従来は端末に合わせてポリゴン数を減らす必要があった）
（東急建設の設計施工案件の動画デモ。建物の外観だけでなく、内部構造や設備まで高解像度で再現されている）
複数ユーザーで情報共有も可能「Azure Spatial Anchors」
HoloLensでは認識した3D空間の中にアンカーを打ち、映像を固定して表示することができます。Azure Spatial Anchorsではこのアンカーの情報クラウド上で永続的に保持できるだけでなく、別のHoloLensから同じアンカーを呼び出したり、あるいは複数のHoloLensや他のデバイスとアンカー情報を共有して表示することもできるようになっています。
Azure Spatial Anchorsはすでに商用サービスを開始しており、活用事例としてインフォマティクスが開発したアプリケーション「GyroEye Holo」が紹介されました。
（Spatial Anchorsのデモ動画。空間に打ち込んだアンカーを保持し、複数の端末で共有できる）
なお、インフォマティクスは内閣府の準天頂衛星「みちびき」を利用したプロジェクトの中で、衛星からの情報とSpatial Anchorsのサービスを組み合わせ、3D映像を正しい位置に表示する実証実験も予定しているとのこと。このように、Spatial Anchorsは「位置情報をさらに正確に補正していく」という用途で活用され、今後も3Dデータを活用した業務アプリケーションでの利用が期待できると鈴木氏は述べました。
（インフォマティクスは準天頂衛星「みちびき」とSpatial Anchorsを組み合わせて利用する実証実験を予定している）
マイクロソフト認定企業によるアプリケーション開発も
ここで再び上田氏が登場。マイクロソフトが提供するパートナーソリューションについて解説を行いました。
（マイクロソフトが認定する日本国内のパートナー企業は20社を超える）
マイクロソフトではMixed Realityの開発案件を進めるスキルを持ったパートナー企業を認定する「Mixed Reality パートナープログラム」という認定制度を運営しており、日本国内では20社を超える企業がパートナー認定を受けています。
認定パートナー企業が提供するアプリケーションやサービスを利用したり、新規にアプリケーション開発を依頼することで、マイクロソフトが提供する既存製品以上に自社の現場ニーズにマッチしたアプリケーションを使えるようになるとのこと。セッションでは認定パートナー企業が提供する製品の中から、「AR 匠」（アウトソーシングテクノロジー）、「White Room」（南国アールスタジオ）の2つが紹介されました。
業務の効率化に貢献「AR 匠」
「AR 匠」はマンションの外壁タイル打診検査のためのアプリケーション。現場での作業情報をHoloLensを通じてデジタル表示したり、作業結果をデジタル情報として自動的に取り込んだりできます。また、HoloLensの環境認識のカメラを使い、現場の情報を3Dデータとして取り込むこともできます。同アプリケーションの利用により、現場での作業人数を減らせるだけでなく、全体の業務量も削減できるとしています。
（セッションではAR 匠を使用した長谷工コーポレーションの事例を紹介）
空間ごと共有するMR会議しシステム「White Room」
南国アールスタジオの「White Room」は、遠隔地にいる人と空間共有できるMR会議システム。これまでのテレビ会議やWeb会議と違い、画面の共有だけではなく、空間そのものを共有して遠隔で会議ができるのが特長です。
セッションでは実際にWhite Roomを使っている様子を動画で紹介。三菱パワーの事例を紹介するとともに、HoloLensの生みの親、アレックス・キップマンが2017年5月に来日講演した際に発表した近未来のMixed Realityのビジョンを見ながら、当時描いていたビジョンが今まさにWhite Roomで実現できていると語りました。
（実際にWhite RoomでMR会議をしている様子。現実空間を使うことで会議の場をよりリアルに感じることができる）
（マイクロソフトが提唱する「コラボラティブ・コンピューティング（Collaborative Computing）」が実現しつつある）
進化を続けるマイクロソフトのMixed Reality
その他、セッションでは「HoloLens 2 Development Edition」国内販売開始のアナウンスや、同セッションの翌週に開催された「Mixed Reality Dev Days Japan」の案内などもありました。
最後に、上田氏と鈴木氏はあらためて主に法人市場でMixed Realityの活用が進んでいることに言及。同時にMixed Realityのテクノロジー自体も進化を続けていること、Dynamics 365やAzure Mixed Realityも今後さらに機能やサービスが拡充され、開発者にとってより活用しやすいものになっていくと述べてセッションは終了となりました。
https://www.youtube.com/watch?v=7FZCmArXw48
XR Kaigi 2020のセッション動画をYouTubeで公開中
今回レポートした特別セッションをはじめ、XR Kaigiの公式YouTubeチャンネルではセッション動画を多数公開しています。イベントに参加した人も未参加の人も、ぜひ一度チェックしてみてください。
