国内最大級のVR/AR/MRカンファレンス「XR Kaigi」が今年も開催されました。今年の「XR Kaigi 2022」はオンラインカンファレンス（12月14日～16日）と、東京都立産業貿易センター 浜松町館でのオフライン（12月22日・23日）のハイブリッドで実施。オンライン開催では、3日間の期間中に60のセッションが行われました。
今回はその中から、12月15日に行われたセッション「AR戦国時代の幕開け！～ARアプリ開発で押さえておきたい”ARデバイス”×”VPS”を解説～」をレポートします。登壇者は、アップフロンティア株式会社（以下「アップフロンティア」）代表取締役社長の横山隆之氏と、システム開発部 XRチーム エンジニの鬼村遼太郎氏。セッションではARデバイスとVPSの最新情報について紹介されました。
2021年から比べて3倍に！ 国内のXR市場は年々伸び続けている
まずは、横山氏がXR市場動向と現地型のARについて紹介しました。横山氏によれば、XRの国内市場規模は、2021年度が約300億円、2023年度の予測が倍の約600億円。その中でAR市場が占める割合は1/3ほどで、こちらも順調に拡大を続けています（出所：デロイトトーマツミック経済研究所の調べをもとにアップフロンティアが作成）。
市場拡大するXRのユースケースとしてわかりやすいのは、教育やトレーニングです。例えば、教材としてXRアプリが活用されています。また、建築業界や不動産業界では、バーチャルシミュレーションで活用されています。建築、医療、製造業を中心に、業務効率化ツールとしても使われています。このように、主にBtoBの分野で使われているのが現状です。
一方、現地型ARはBtoCで使われています。「今年は様々な事例が出てきたものの、市場としてはまだまだといったところ」（横山氏）とのことです。
現地型ARとは、横山氏の用語で、「現在世界の各地点とCGのデータを紐付けたコンテンツ」です。ARを表示したい場所を各種センサーで撮影し、撮影したデータを元に、疑似MAPを作りUnity上で展開。その疑似MAPに表示したいARコンテンツを配置するという流れで作られます。
現地型ARは、観光案内や一般商業施設での施設案内などに使われます。近未来の様相として、横山氏は、ARグラスの普及とARインフラの確立というふたつの条件が揃うとすれば、現在スマホで利用されているものはARグラス型に代替されるだろうと見ています。そうした時代がやってくると、現在のような限定的な使われ方だけではなく、あらゆるところで現地型ARが活用されるようになると予想しています。
キーとなるARグラスは、様々なデバイスが各社からようやく発売されたところです。『HoloLens 2』や『Magic Leap one』などに代表されるリッチなデバイスから、コンシューマー向けで使われる『Nreal』などがあります。
また、VRヘッドマウントディスプレイ『Pico 4』『Meta Quest Pro』が搭載するカメラには、外部映像が見られるシースルー機能が採用されています。カメラの解像度が劇的に上がれば、ARグラスの代替としての利用が期待できます。
「出る出る」といわれているMetaの新製品とアップルのARグラスが来年あたりに出てくれば、「AR業界に与えるインパクトも大きなものとなる」（横山氏）といいます。
ARグラスは、大きく分けて「企業で使われるエンタープライズ向けの高価なデバイス」と、「コンシューマーが使うことを意識して作られたデバイス」に分類できます。エンタープライズ向けはスタンドアロンで動くものが多く、コンシューマー向けは主としてスマホに繋いで使うことが想定されています。
VPS（Visual Positioning Service/System）にも、2022年は様々な動きがありました。VPSとは、画像データからカメラの現在地点やデバイスの向きなどを判断する技術で、AR市場の活性化に向けて重要視されています。
2022年に入ってから、Googleは『GeoSpatial API』の、Nianticは『Lightship』のVPS対応を発表しました。「2大企業の参入で、将来的に2022年が「VPS元年」といわれるかもしれません」（横山氏）
ARグラスを活用した事例紹介
続いて横山氏は、ARグラスとVPSそれぞれで、同社が2022年に開発したARアプリの事例を紹介しました。
『Akiba AR Experiense Tour』は、秋葉原の観光案内をするARアプリです。カメラで風景を読み取ると、様々なCGや動画、テキストなどで観光案内をしてくれます。
スマホを使ったARアプリを開発するメリットは、スマホ対応しているVPSが多く、ARアプリの動作も安定しやすいところです。また、開発したアプリはストアで配布できるので、多くのユーザーが利用できます。
発色が極めて高く、明るい昼間でもCGデータを綺麗に表示ができます。CPU / GPUともに、ARグラスと比べると非常に優秀で、少し重たい演出も可能です。
デメリットは、「歩きスマホ」対応が必要になるところです。（ハンズフリーで歩けるような）未来のAR体験は提供できません。
ふたつ目の事例は、ARグラスの『Nreal Light』を使用したアプリです。豊洲市場のマルシェに出店している店舗が、何をいくらで販売しているのかCGで表示します。清水建設株式会社（以下「清水建設」）が主導する「豊洲スマートシティ構想」で用いる、先端技術の一環として開発されました。
『Nreal Light』を使うと、ユーザーはハンズフリーで歩きながらコンテンツを体験できます。近未来に来るAR体験ができるというわけです。CGの表示にはある程度の明るさが必要ですが、ARグラスの輝度もある程度は高く、綺麗な演出が可能です。
ARグラスがまだ普及しておらず、ハードウェアを用意して貸し出す必要があるという難点はあります。また、（データ処理のために）高価なスマホを用意する必要もあります。さらに、自己位置推定を定期的に行う必要もあります。最初にVPSで今いる場所を認識するものの、10メートルほど歩くと、表示したCGと現実世界が少しずつずれてしまうからです。
3つ目の事例は、発売前の最新デバイス『Magic Leap 2』に向けたARアプリです。豊洲のARアプリの第2弾で、屋外で使用しても綺麗にCGコンテンツを表示することができるようになりました。
『Magic Leap 2』を使用したARアプリは、『Nreal Light』と同様に、ハンズフリーで歩きながらAR体験ができます。CGコンテンツを表示する明るさが高く、コンテンツを綺麗に表示できます。自己位置推定のずれも少なく、最初に認識してから50～100メートルほど歩いても、ほとんどずれません。デメリットは、ハードウェアが非常に高価なところです。
上記3つのデバイスを比較すると、明るさ（輝度）はスマホが一歩抜けているものの、『Magic Leap 2』も遜色ないほどの明るさで表示できます。自己位置推定の精度は、『Magic Leap 2』がスマホよりも優れています。
VPSで位置合わせをするときの認識速度は、スマホが優秀な結果を残しました。とはいえ、『Magic Leap 2』と『Nreal Light』も十分に実用に耐えるレベルです。バッテリーの持ちは圧倒的にスマホが優れています。導入コストは、やはりまだ『Magic Leap 2』が1番高くなっています。
VPS別のARアプリ事例
続いてVPS別のARアプリ事例の紹介が行われました。先ほどの豊洲の事例で使われていたVPSが『Immersal』です。対応プラットフォームが比較的多いため、結果的にARデバイスでも利用できるところが特徴です。街サイズの広域トラッキングが可能で、開発時に疑似MAPを作り、ARコンテンツを配置すれば、屋内でも問題なく利用することができます。
開発コストは他のVPSと比べて高めです。その代わり、オクルージョン（遮蔽）表現を含めた、精度の高い表現ができます。
Nianticの『Lightship VPS』を使ったアプリが、『マッスルアニマルズ』です。筋肉質な動物たちを元に戻して点数を稼ぐゲームです。『Lightship VPS』は周囲の床やビルを認識できるため、こうしたコンテンツを実現することができました。
『Lightship VPS』の対応プラットフォームはスマホのみで、ARデバイスには対応していません。元々用意されている疑似MAP用のデータをクラウドからダウンロードして利用でき、新たに作る必要がなく、開発工数を抑えられます。ただし、入手できる疑似MAPのデータは点でしか用意されていないため、現時点で使えるポイントは限られています。
最後に横山氏は、現在リリース準備中だというアプリを紹介しました。Googleが提供する『GeoSpatial API』と『Places API』を組み合わせて、現在地の周辺情報を検索できるアプリです。
『GeoSpatial API』はあらかじめ疑似MAPを用意する必要がなく、シンプルに今いる場所を認識して、周辺に配置すべきCGデータを表示してくれます。これにより、大幅に開発コストを下げることができます。
対応プラットフォームはスマホのみですが、元々ストリートビューで展開された場所は、くまなく利用できます。屋外での利用に相性がいいVPSです。
比較結果をまとめると、対応プラットフォームは『Immersal』に軍配が上がります。トラッキングエリアは、Googleストリートビューのカバー範囲が使える『GeoSpatial API』が圧倒しています。位置合わせの正確さは『Immersal』が優れており、開発の手軽さは、疑似AMPデータを作る必要がない『GeoSpatial API』が優れています。
同社では、内製でARアプリを開発するときのサポートツールとして、『CFA（シーファ）』を利用しています。ARアプリ開発で必要となる様々な基盤を汎用化することで、開発速度を高め、開発コストを低減する目的で作られています。
今後は、『CFA』に汎用的な機能を拡充していき、各VPSやARグラスへの対応を促進。緯度・経度に基づいたメタデータを統合してAPI経由で提供する準備も進めるとのことです。
現在同社では、ジオラマAR（仮）の開発も進めています。これまでは「ARグラスを街中にあるビルなどに（照準を）合わせて使う」という考え方でしたが、こちらは「ジオラマ風にARコンテンツを表現して、様々な案内などに使えるようにする」という構想です。
『Magic Leap 2』で『Immersal』を使用した事例の紹介
続いて、鬼村氏の「Magic Leap 2でImmersalを使ってみた」のセッションがスタート。今回は、東京都スマートシティ推進協議会の代表企業である清水建設株式会社（以下「清水建設）の事例を説明しました。2種類のスマートグラス（『Nreal Light』『Magic Leap2』）と『Immersal』の組み合わせで、半屋外でARアプリを動かす実験を行いました。
前述のとおり、『Immersal』はVPSのひとつです。専用アプリで作成される特徴点群データをデバイスのカメラデータと照合し、現実世界とバーチャル背空間の位置合わせを行います。SDKは現時点で『Magic Leap 2』に非対応で、今回は『Immersal REST API』を利用しました。
実験環境とした「メブクス豊洲」は、半屋外でガラス張りの壁があり、天井と床には類似する連続パターン模様があるなど、VPSを利用するには厳しい条件が揃っています。そこで柱にポスターを貼り付けて（取得できる）特徴量をアップするなど、環境改善を行っていました。
その結果、『Nreal Light』は、ある程度柱に近づく必要はあるものの、位置合わせが出来るようになりました。また、柱の誤認もなく、期待通りの結果でした。『Magic Leap 2』は、位置合わせには成功するものの、結構な頻度で見当違いの結果になったとのこと。
鬼村氏によると、『Magic Leap 2』はカメラの性能が高いため、離れた類似パターン箇所も特徴点としてとらえてしまったのではないかとのことです。
改善策を考えていくにあたり、鬼村氏は『Magic Leap 2』の自己位置推定力に着眼しています。『Nreal Light』は、自己位置推定範囲がそこまで広くありませんでしたが、『Magic Leap 2』は非常に広いものでした。
『Nreal Light』と『Magic Leap 2』とで、自己位置推定に任せて移動したときに、どれぐらいオブジェクトがずれて見えるか検証したところ、『Nreal Light』は15メートルの移動で1メートル程、『Magic Leap 2』は100メートルの移動で1メートルほどずれることがわかりました。
そのため『Magic Leap 2』を使うときは、位置合わせに成功した後はVPSを切って、デバイスの自己位置推定に任せるだけでいいのではないかと鬼村氏らは考えました。加えていくつか精度向上の調整を行ったところ、うまく機能するようになったそうです。
実際に『Magic Leap 2』を動かして感じたハードウェアの特徴
続いて、鬼村氏は、実際に複数のARデバイスを動かしてみて感じた、ハードウェアごとの特徴を紹介しました。発色は、スマホで見る明るさを1としたときに、『Magic Leap 2』はほぼ遜色がなく、他のデバイスと比較しても「かなりいい」とのこと。
『Magic Leap 2』には独自の調光（Dmming）機能があり、スマートグラス特有の「黒色のARオブジェクトが、背景に透けてしまう」という問題を、グラス自体を物理的に黒くすることで防止しています。
「GlobalDimming」と「SegmentDimming」の2種類が用意されています。「GlobalDimming」は、ARオブジェクトを除く背景全体が暗くなります。「SegmentDimming」は、Mesh指定で部分的に暗く出来ますが、解像度に限度があり、複雑な形状では暗くする部分が粗くなってしまったとのこと。
自己位置推定は、開けた空間であっても広範囲で対応できます。エスカレーターを使った階層移動でも、自己位置推定ができたそうです。
鬼村氏は、カメラ性能の高さにも言及しました。『Magic Leap 2』は、カメラの性能が良すぎるため、『Immersal』と連携しにくい部分があるものの、離れた場所の細部もしっかりと認識できます。また、暗さにも強く、太陽光が主な光源となる場所で、日没直前の明るさでも、『Immersal』を動かせたとのこと。
鬼村氏は最後に、『Magic Leap 2』は、発色の良さやDmming機能によって明るい屋外でも見やすく、実用的になったと語り、今回のセッションを締めくくりました。
