Nianticのことをご存じの方も多いでしょう。2012年にリリースしたIngress、2016年にサービスインしたPokémon GOなど、GPSを活用した位置情報ゲームを作ってきた企業です。
彼らのゲームにはもう1つの特徴があります。それはARの活用です。スマートフォンのカメラを用いて現実世界とゲーム/バーチャルの世界をクロスオーバーさせていること。Nianticは企業理念として、ARを通じて冒険心をかきたたせ、人々を屋外に誘い出し、プレイヤーが地域のコミュニティとのつながりを持つことをミッションとしています。
現実世界に広がるARを支える活動もしています。カメラで捉えた画像情報から位置を特定するビジュアルポジショニングシステムの「Lightship VPS」や、Webベースのビジュアルプラットフォーム「Niantic Studio」を開発者向けに提供しています。そして屋外における空間コンピューティングの利用が一般化する近い将来に向け、現実とバーチャルのオブジェクトが共に映し出される次世代マップの構築を目指しています。
そんなNianticは、スマートフォンを持つ人々なら誰でも現実空間を3Dモデル化できる無料の3Dスキャンアプリ「Scaniverse」も提供しています。初期バージョンはiPhone ProシリーズのLiDARを用いたアプリでしたが、度重なるアップデートによりProモデル以外のiPhoneでも、Androidでも使えるようになり、さらには3D Gaussian Splattingもサポート。テーブルの上にのった美味しそうなスイーツも、日々の足として活躍してくれている愛車も、旅先で見つけた面白いオブジェもなにもかも3Dモデルとすることができます。アプリのユーザーも多く、個人における3Dスキャンカルチャーを支えているといっても過言ではありません。
過日、日本のNianticオフィスにAR部門SVPであるBrian “Bam” McClendon氏、Strategic Partner Development Managerの白石淳二氏、4人のScaniverseのヘビーユーザーが集い、意見交換会が行われました。その会話の模様をお届けしましょう。
Brian “Bam” McClendon氏
Keyhole時代にNiantic CEOジョン・ハンケ氏と一緒に働き、Google、Uberに移籍してからも様々な地図の開発に従事。Nianticでも3Dマップの開発に取り組む。
白石淳二氏
ScaniverseやLightship ARDK、8th Wallなど、Niantic ARアプリ/ソリューションのプロモーションやパートナーシップを担当。
伊藤武仙氏
株式会社ホロラボの創業者兼取締役COO。現実空間の3Dスキャンに関心を持つなかでScaniverseを知り、現在は業務でも活用中。
岩間輝（iwama）氏
モバイルスキャン協会理事であり、スマートフォンを用いる3Dスキャン技術に関しての情報発信に積極的な3Dスキャンインフルエンサー。Xフォロワー2万人。
藤井友也氏
兵庫県財政部県政改革課主幹。「tomo（とも）」というアカウントで、観光地や商店街といった現実空間のスキャンデータを元にした動画を発信。
杉本直也氏
静岡県デジタル戦略局参事。静岡県のデジタルツインを構築するべく、静岡県全域の点群データをオープンデータ化するプロジェクトを担当。
Scaniverseは3Dのポラロイド
Bam：皆さんはScaniverseをどのように使ってるんですか？
伊藤：
私たちは国や自治体などの行政機関と連携して「XR技術を活用した市民参加型まちづくり」の取り組みを行っています。この取り組みは、国土交通省主導の全国3D都市モデル整備・オープンデータ化プロジェクトである「Project PLATEAU」を活用しています。
ある市民参加型ワークショップでは、子供たちにレゴを使って「未来の社会にある建物」を自由に想像し作成してもらいました。私たちは、完成したレゴをScaniverseを使って3Dスキャンし、「Project PLATEAU」の3D都市モデルに配置して、子供たちの架空の建物がデジタルツイン上に出現するという実証実験を行いました。ある女の子は苺のショートケーキをモチーフにした建物をつくったりと、非常に楽しい取り組みでしたね。
レゴは光沢があり、かつ複雑な形状のため3Dスキャンが難しい対象物です。しかしScaniverseでは簡単にスキャンできました。構造体をビュー形式としてエクスポートして使用できること、アプリ単体で処理できることが素晴らしいですね。
岩間：2次元の記録しか残せなかったところから、3次元の記録が残せるようになったことに感動して、スキャンアプリのまとめを作ったり、これから3Dスキャンを始める方向けの記事を作成するなど、iPhoneを使った3Dスキャンを多くの人に広める活動をしています。そのなかでScaniverseは個人的にも推しています。他のアプリだとスキャンして、クラウドにアップロードして、データの処理を待っている間にスキャンしたときの情熱が薄れてしまうことがありますが、Scaniverseはスマートフォンという1つのデバイスだけですべての作業が完結する。体験として上質なんですよね。
Bam：私たちはScaniverseを3Dのポラロイドと呼びたいと思っています。撮影してすぐに写真がでてくるワクワク感みたいなものがScaniverseにあると思っています。
岩間：私の本職は土木関係なのですが、最近だとコンクリートに使う鉄筋の検査を行うときにScaniverseを使うことがあります。仕事の効率化にもつながっています。
藤井：私は大きく分けて2つの取組みをしています。1つは個人としての活動なのですが、いま神戸という街は再開発を行っており、どんどんと街並みが変わっていくなかで少しでも今までの景観や、地域にある文化財を残しておきたいと考えて、いろんな場所をスキャンしては個人で保存したり、バーチャル空間サービスのclusterにワールドとして入れています。
Bam：広いエリアをスキャンしていますが、どのように作業しているんですか？ いくつか分けてスキャンしているんですか？
藤井：ワンスキャン（1回）です。
※一同、「おかしいおかしい」「すごいね！」と爆笑とともに絶賛
Bam：まさか手持ちで？
藤井：ジンバルを使うことが多いんですけど、途中でバッテリーが切れてしまいがちなので、そこからは手持ちでスキャンしたり、一時停止ボタンを使ってちょっとずつスキャンしながら進んでいっていますね。もう1つは組織として、 自治体としての取り組みですが、地域の大学生の方に協力してもらって古い歴史を持つお寺をスキャンさせてもらっています。自分でScaniverseを使ってスキャンをしてもらったものがこんな風にできるっていうのは、若い人に地域に関心を持ってもらうアプローチの1つとして手応えがありました。
杉本：静岡県の取り組みとして、富士山など広いエリアはセスナから、お城などは外側をドローン、内側は三脚据え置き型スキャナーなど、様々なレーザー機器で各地の点群データを取っています。それをオープンデータ化して皆さんに使ってもらうのが目的なんですが、建物などは屋根しかスキャンできず横がとれていないことがありまして、Scaniverseでスキャンしたデータを重ねることで完成させています。あと、地面に埋めてしまう水道管などのデータもScaniverseでとっていますね。
Bam：Google Earthは絶対地下には行けなかったんです。水中はまだしも、地中はとても難しい。
白石：みんな地中のデータが欲しいけど、手に入らないですもんね。
杉本：そこでデータを撮るためのマニュアルを作って、静岡県のオフィシャルで出します（笑）
白石：データが県に集まる仕組みを作っているんですね。
より使いやすいScaniverseへ、そして3Dマップの充実化をめざす
Bam：Snaniverseが今取り組んでいるものをお見せしましょう。GPSとVRヘッドセットを活用することで、外で作業をしている人と同じものを離れたオフィスや家から見ることができます。またバーチャル側に置いたオブジェクトを外にいる人、家にいる人が両方とも扱えるようになる。全員がVRヘッドセットを装着すれば、各現場にいるスタッフが作業に慣れていなかったとしても目の前の様子を3Dスキャンして、オフィスにいる熟練者が判断して指示を出すといった遠隔作業支援ができるようになると考えています。
もう1つ、3D Gaussian Splattingについて。メッシュは木の表面や、ピカピカしたもののスキャンが苦手です。3D Gaussian Splattingがでてきたことで3Dスキャンのクオリティや体験を大きく変えるものだと信じていて、今回Scaniverseで3D Gaussian Splattingが使えるようになったことはすごく嬉しく思っています。
最近のアップデートでは、3Dマップを公開しました。Scaniverseでスキャンしたものをアップロードして、3Dマップの一部として使えるようになる準備を進めています。なので、みなさんだけではなく、他のユーザーの方々にも、ぜひいろんな場所をアップロードしてほしいと思っています。本当に初めの1歩ではあるんですけれども、次世代の地図っていうのはScaniverseと3Dマップから作られるものだと信じています。
白石：Niantic StudioというWebベースの3D/XRコンテンツ制作ツールも公開しています。このツールで3D Gaussian Splattingのデータが取り込めるようになっていまして、表示するだけでなくフィジックスもあるので、データとしてちゃんと活用できるようになっています。
Bam：物理計算の処理にはどうしてもメッシュが必要になるんですよね。
白石：Scaniverseでスキャンしたデータは、いままでUnreal EngineやUnityにもっていく必要がありましたが、Niantic Studioを使えば作った場所がそのままゲームのキャンバスになる可能性があるんですよね。
Bam：Scaniverseで3D Gaussian Splattingのデータを作り、Niantic Studioで取り込んで、ARのコンテンツが作れますし、VRでも体験できるビジュアルエディターもできました。ぜひ試してみてください。
伊藤 メッシュで当たり判定を出すと、データが重くなったりしませんか？ 当たり判定用のメッシュと3D Gaussian Splattingのビジュアルを同時に動かすと、倍ぐらい重たくなっちゃうんじゃないかなっていう心配があります。
Bam：実はメッシュのところは軽量化したデータで対応をしています。
白石：ここからは、皆さんからScaniverseへの質問やリクエストを聴いていきたいと思います。
岩間：Scaniverseを用いて、複数人・複数のスマートフォンで大きなスキャンデータを作る際に、作業中にAさんがスキャンした範囲を他の人が確認することは可能でしょうか？
Bam：うーん…すいません。スキャンした複数のデータを統合する時は必ずクラウドでプロセスすることになるのですが、 データものすごい速さでアップロードして、ものすごい速さで処理結果が見えるようになれば実現できるようになるとは思うんですけど、その処理速度を上げるための技術が、今はまだないのかな、と思っています。
白石：
杉本：現在のScaniverseは、スキャンするときに最初にメッシュか3D Gaussian Splattingかを選ぶじゃないですか。スキャンした後に選べるようになるといいかなとは思いました。
Bam：それは技術的には可能です。ただ、実装するかどうかは皆さんの中での優先度にもよるかなと思います。
岩間：たくさんスキャンしたあとにFBXなどのデータ形式でPCに送りたいときに、1つ1つのデータのプレビュー画面に入ってエクスポートしなくてはならないので、一括処理ができるようにしてほしいですね。
Bam：AirDropをしやすくする、という手法があるかもしれませんね。何かしら対応したいです。
杉本：そもそもScaniverse的にはエクスポートするってことはあまり考えてなくて、全部Scaniverse内で完結することを目指しているのかが気になっています。
Bam：エクスポートはユーザーの皆さんから強い要望を寄せられている機能です。ゲーム開発者の皆さんからも、例えばお茶のボトルをスキャンしてPCにもっていきたいという声をいただいています。今後エクスポートの機能をロックしていこうというつもりも全くありません。ただ私たちは、Scaniverseの目的は3Dマップを作ることにあると考えているので、アップロードもぜひしていただきたいという思いがあります。
人物をスキャンするときは、注視してもらう場所を伝えること
意見交換会終了後、記念として参加者のみなさんをScaniverseで3Dスキャン。3Dモデル化しました。長時間露光と記しましょうか。筆者はあまり3Dスキャンアプリを使ってこなかったので、立ってもらっていても人物のように微妙に動いてしまう被写体と3Dスキャンアプリは相性が悪いのではと思っていたのですが。
白石さんいわく、「スキャンが終わるまで、どこか1点を見続けてもらうといいんですよ」とのこと。目からウロコといいますか、腹に落ちたと言いますか、膝をたたきたくなったといいますか、納得しかありません。目を向ける目標が定まっていれば自然と身体はブレにくくなりますし、顔のパーツも固定しやすくなります。
表情が動いてしまうことで違和感が強調される人物の3Dスキャン。なるほど、こういう対策方法があったのですか。
参加者の皆さんにお聞きすると、Scaniverseをはじめとした3Dスキャンアプリでのスキャニングは、等身大くらいの大きさの被写体が向いているとのことです。
筆者もまだまだ3Dスキャンは初心者。先駆者の皆さんの話やNianticの未来に向けた話を聞いていると、近所を散歩しているとき、街角にあるオブジェや興味深い飾りつけなどを見かけたら、ぜひScaniverseで3D化してみたくなりますね。
