国内最大級のVR/AR/MRカンファレンス「XR Kaigi」が今年も開催されました。今年の「XR Kaigi 2021」はオンラインカンファレンス「XR Kaigi Online」（11月15日～17日）と、リアル会場での展示・体験会「XR Matsuri」（11月25日・26日）のハイブリッドで実施。XR Kaigi Onlineでは、3日間の期間中に50以上のセッションが行われました。
今回はその中から、11月16日に行われたNianticのセッション「Niantic Lightship ARDK：AR技術と開発者キットの最新情報」をレポートします。登壇者はNiantic最高プロダクト責任者の河合敬一氏。セッションではNiantic Lightship ARDKの機能紹介や最新情報が披露されました。
Niantic CEO、ジョン・ハンケからのメッセージ
セッション冒頭ではNiantic CEO、ジョン・ハンケ氏からXR Kaigi参加者に向けたメッセージを公開。ハンケ氏は日本の開発者に対する敬意を示すとともに、Niantic Lightship ARDK（以下Lightship）に関して引き続きフィードバックを送ってほしいと述べました。
（Lightshipのα、βテストには日本のXR開発者も多数参加していたという）
Lightshipで目指す「リアルワールド・メタバース」
続いて河合氏からはNianticとLightshipの概要の説明が行われました。
Nianticの目標は世界中の大勢の人に拡張現実を体験してもらうこと、それを可能にするプラットフォームを作ることだという河合氏。同社ではリアルとバーチャルが融合する「リアルワールド・メタバース（Real-World Metaverse）」を掲げ、テクノロジーを使って人々のリアルな世界での暮らしをより豊かにすることを目指しています。
しかし、リアルワールド・メタバースを実現するためには、自社の力だけではとても足りないという河合氏。そこで、世界中の開発者やクリエイターがそれぞれのARのビジョンを実現できるよう、Nianticが提供するのがLightshipです。
「Niantic RealWorld Platform」から改称されたLightshipは、開発者がリアルな体験を構築できるようにするためのさまざまなツールセットを含むAR開発プラットフォーム。Lightshipは実際に、Nianticが提供しているさまざまなアプリケーションでも使われています。
（『Ingress』や『ポケモンGO』、『Pikmin Bloom』など、Nianticでは複数のスマートフォンゲームを開発・リリースしてきた）
Niantic Lightship ARDKの機能
LightshipはUnity上で利用できる、クロスプラットフォームのSDK。AndroidおよびiOS向けにクロスプラットフォームで動作します。また、SDKに加えて、Unityサンプルやサンプルアプリ、各種ドキュメントなどの開発者ガイダンス資料・ツールもあわせて提供されています。
セッションでは、Lightshipの主要な3つの機能について河合氏が紹介・解説を行いました。
（Lightshipには大きく3つの機能がある）
（LightshipはUnityのパッケージとして提供される）
1. 体験の共有（Sharing）
（複数人で同じAR体験が可能になるマルチプレイヤー機能）
マルチプレイヤー機能では、最大5人のプレイヤーを同時にサポートするARセッションを作成可能。これにより、バーチャルコンテンツとプレイヤー、および両者間のインタラクションをすべてリアルタイムに同期することができるようになります。
（全米プロゴルフ協会がジュニアリーグのメンバー向けに作成したマルチプレイヤーアプリの例が紹介された）
2. 環境の理解（Understanding）
（ユーザーの周囲の環境を認識・理解し、シーンに合わせたAR体験を作成可能）
Lightshipのセマンティックセグメンテーション（Semantic Segmentation）は、コンピュータビジョン（CV）技術を活用し、ユーザーの周囲の環境を認識・理解する機能。同機能を使えば、水や空、建物などを認識・識別することで、それぞれに合ったAR体験を生み出すことができます。
例えば空に文字を書いたり、建物の後ろ側をキャラクターが歩いたりすることが可能。開発者はそれらの処理の中身を気にすることなく、表現したいAR体験の制作に専念できるとのことです。
また河合氏は、同機能はゲームだけでなく、音楽・スポーツ・イベント・博物館など、さまざまな分野で活用できるのではないかと説明しました。
（セマンティックセグメンテーションを用いた、空を飛ぶ蝶の表現。建物の後ろに行くとちゃんと蝶の姿は隠れる）
3. 現実世界の再現（Mapping）
（空間の奥行きをリアルタイムに認識。オクルージョン（遮蔽）表現にも対応する）
最後は3次元空間の認識に関する機能。Nianticはここ数年、スマートフォンのカメラのみで得られた情報から奥行きの推定を行う技術を開発しています。Lightshipのマッピング機能を使えば、LiDARの有無やOSの違いによるコード処理の書き分けなどをせずとも環境の3Dマップを利用できます。
なお、メッシュ作成はアプリのセッション中は継続し、ユーザーの動きにも追従。オクルージョン（遮蔽）機能を使ったり、物理演算を用いた表現がしやすくなっているということです。
（マッピング機能を用いたアプリケーションの例）
開発者向けサポート体制も構築中
利用者ができるだけ簡単に開発を始められるように、NinanticではLightshipの一部としてドキュメント・サンプル・チュートリアルなどの資料・ガイダンスを随時提供していくとのこと。
また、Lightshipそのもの以外にも、開発者をサポートするチームや、開発者同士が助け合えるコミュニティの場を用意しています。
（ドキュメント・サンプル・ヘルプデスクを用意して開発者を支援）
（Lightship公式サイトには開発者コミュニティも用意されている）
セッションではここで、Developer Experienceチームの加藤エリカ氏と、Developer Relationsを担当しているDan Morris氏のビデオメッセージを紹介。開発者とともに、今後もLightshipをよりよいものにしていきたいと語りました。
（Developer Experienceチームの加藤エリカ氏。開発者からの声を聞かせてほしい、とのこと）
（Developer Relations担当のDan Morris氏。他の開発者の声をまじえ、Lightshipの魅力をあらためて説明した）
セッションではこの他、LightshipでAR開発を行う開発者に投資する「Niantic Ventures」を設立したことにも言及されました。
（Lightshipを使ったARアプリ開発者を支援するための基金「Niantic Ventures」）
パートナー企業によるプロトタイプも紹介
続いては、Ninanticとパートナー提携している企業によるAR体験のデモ映像が登場。セッションではソフトバンクと集英社XR、2社のデモが紹介されました。
SoftBank
（自社でもXR事業に取り組むソフトバンクが、Lightshipを使ったARアプリのデモを制作）
集英社XR
（『ONE PIECE』のキャラクターであるチョッパーが、スマートフォンの画面越しに現実世界に出現）
Nianticのビジュアル・ポジショニング・システム（VPS）
セッションではもうひとつ、3Dマップシステムについて紹介がありました。今回のLightshipローンチには含まれていないものの、3Dマップはユーザーからの要望が多い機能のひとつです。
Nianticは会社設立以来、世界の3Dマップを作成し、それを活用していきたいと考えています。同社ではその3DマップをNiantic Map、それを使ったARシステムをビジュアル・ポジショニング・システム（Visual Positioning System、VPS）と呼んでいます。
NianticのVPSでは、特定の場所にバーチャルなオブジェクトを配置すると、そのオブジェクトの配置を永続的に維持できます。河合氏によれば、同VPSは2022年リリースを予定しているとのことです。
（開発中のNiantic製VPS、その最新情報が公開された）
（永続的な3Dマップの作成は、Nianticの掲げる「リアルワールド・メタバース」に不可欠）
（実際にNianticのVPSで3Dマップをスキャンしている様子）
河合氏は最後に「ARへの興味と情熱さえあれば、どなたでもAR開発者だと思います。ぜひ一緒にこのテクノロジーの地平をともに開いていきましょう。Niantic Lightship ARDKがその始まりとなることができたら、こんなに嬉しいことはありません」と語り、セッションは終了となりました。
