2024年9月25日からMetaが開催した開発者会議Meta Connectでは、新型VR/MRヘッドセット「Meta Quest 3S」、かつてないブレイクスルーを実現したARグラス「Orion」など数々の発表があった。
CEOのマーク・ザッカーバーグが登壇した1時間の基調講演の中で、脚光を浴びたのはハードウェアで、、VRで体験できるコンテンツの話題はほんの一瞬だった。しかし、そんな中で、実はひとつだけ画期的なデモコンテンツについて言及があったのである。
そのデモコンテンツの名前は「Hyperscape」。Metaが現在研究開発を進めており、9月25日以降、米国限定でアプリが公開されている。筆者もConnectの会場で体験し、担当者と話すことができたので、その内容を紹介したい。
3Dスキャンされたバーチャルツアー
「Hyperscape」は、3Dスキャンされた部屋の中をMeta Quest 3（Quest 3Sではない）で体験できるバーチャルツアーアプリだ。彫刻家や画家、車のガレージなど、6種類の“作業場”を選んでその中を見て回ることができる。実際にアプリを体験してみると、それぞれの作業場は、作品の周りに画材が散らばっていたり、道具が机と床に散らばっていたりと雑然とした状態のまま保存されていた。。
そもそも、3Dスキャンというのは「空間を3次元そのままに記録する技術」だ。写真・動画といった二次元的な表現、さらには360度の周囲を記録した写真・動画とも異なる。3Dスキャンされたコンテンツの中では、移動も自由だし、机の下を覗き込むといった立体的な動きもできる。
おなじみのワープ操作で好きに移動しながら、見たことのないほど凄まじい散らかりようの作業場をキョロキョロと見渡した。ちなみに、ところどころにマーカーが配置されていて、コントローラーで選ぶと説明が表示される。
そのクオリティはかなり高い。もちろん現実と同じとは言えない一定の粗さはあるが、Quest 3越しでも文字は読めるし、部屋の雰囲気は非常によく分かる。「3Dスキャンされたコピーの空間にいる」感覚よりも「現実と同じ空間にいる」感覚の方が強いのではないかと、錯覚が上回るくらいにはクオリティの高いものだった。
何が画期的なのか？
ここまでは正直、3DスキャンやVRに詳しい人にとっては特に珍しくもないバーチャルツアーだ。3Dスキャンされた世界をVRで体験できるコンテンツにする手法は数年前からあるし、類似コンテンツはすでにストアにも並んでいる。何なら3Dスキャンで作った空間をVRChatやclusterなど無料で使えるメタバースプラットフォームにアップロードして、複数人で見て回る体験すら、すでに実現している。
「Hyperscape」でMetaが示した革新的なポイントは、「制作にかかる手間と、体験時のクオリティのバランス」という、ただ体験しただけでは一見分かりづらい裏側の事情にある。
ポイント1：スマホ×Gaussian Splatting
Hyperscapeのコンテンツ制作時間はわずか4〜5時間だ。
まずは、Metaが自社開発したスマホアプリを使って、1時間ほどで空間をスキャンする。Nianticの「Scaniverse」など、スマートフォンの3Dスキャンアプリを触ったことがある人には周知の事実だが、机の下などもくまなく撮影する必要があるため、スマホを構えたまま部屋を粘り強く練り歩きながらスキャンする必要がある。
Hyperscapeの3Dスキャンには、「Gaussian Splatting」という2023年に登場した画期的な手法が使われている。従来の3Dスキャンでは、「フォトグラメトリ」という無数の写真をベースに3Dを構築する技術が使われていたが、精細度を突き詰めるほど人間の手作業でスキャンする時間が膨大になってしまったり、金属などの光沢の再現に弱いなどの問題もあった。Gaussian Splattingはこれらの問題を解決し、さらに高速で3Dモデルを生成する技術として登場した注目されている技術だ。
1時間かけて行った3DスキャンをGaussian Splattingで処理して、3Dにするまでおよそ3、4時間。処理は、クラウドにあるMetaのサーバーで行われるそうだ。
ポイント２：クラウドレンダリング
そして、ユーザーがVRヘッドセットで体験するときにはそのままクラウド上で描画が行われる。つまり、生成された3Dモデルそのものをダウンロードすることなく、クラウドですべての処理が完結している。そのため、待ち時間が存在しない。しかも、VRヘッドセットで体験していても、遅延やクオリティ低下などの違和感を感じることがない。自然なバーチャルツアーを実現している、ということだ。
このクラウド上で描画を行う技術はクラウドレンダリングと呼ばれている。クラウドレンダリングのメリットは、先述のとおりダウンロードが不要なので、読み込み時間がかからず、すぐにコンテンツを体験できる点にある。さらに、端末の性能に依存しないので、PCVRと比較して性能の劣る一体型VRヘッドセットでも、PCVRのような高クオリティなコンテンツが体験できる点も見逃せない。一方でクラウド頼みなので、高速で安定した通信環境は必須だ。
クラウドレンダリングでコンテンツを描画していることを知ったのは体験後に、担当者と話をしたときのこと。つまり、Gaussian Splattingを駆使したスマホでの3Dスキャンによる短時間でのコンテンツ生成、ダウンロード不要のクラウドレンダリング、そしてVRヘッドセットでの体験……これらを組み合わせていながら、違和感なく体験できるという技術力の高さが「HyperScape」の凄みだ。で
Metaが長期で取り組む「3D再構築」
Metaはこのアプリを突然出してきたわけではない。そもそもXRに長期的な投資を行う中で、研究開発の状況を公開し始めてから、まさに今回の発表があったConnectの場でその道筋を明らかにしてきた。
Metaはこの技術は3Dスキャンではなく、「3D再構築（3D Reconstruction）」と呼んでいる。最初に3D再構築に触れたのは2019年のこと。Oculus Connect 5にて、「将来、写真から奥行きを推定し、現実空間さながらのVRを作ることができるようにする」という言及があった。
その後、不定期ではあるが、3D再構築への言及は続いた。しかし、あくまでも研究開発段階の話であり、プレゼンテーションでの進捗報告に過ぎなかった。それが今回「HyperScape」で、3D再構築がどのような体験価値に繋がるのか、実装可能な一つの未来として提示してきたわけだ。
発表されたとはいえ、まだ課題は多いし、開発者会議の場で強調しなかったのも頷ける。
なぜなら、まだこのシステムはMeta以外に開放されていないからだ。発表時点では「Hyperscape」というVRヘッドセット向けの閲覧用アプリがストアで公開されているに過ぎない。しかも米国限定だ。日本からこのコンテンツを体験することはできない。
クラウドですべてを行うには、すべての工程でクラウドのリソースを使っているということを意味する。
研究開発段階なら、クラウド利用料を気にすることはない。なにせ、生成AI技術についても大規模に開発し続けていることもあり、世界最大規模のクラウドを整備している会社の一つだ。担当者も「うちのサーバーを使っているからコストは今の時点では気にすることはない」と言っていたが、まさにそうなのだろう。
ただし、このシステムをコンテンツ制作時、そして一般ユーザーの体験時両方で無数に利用されたときのコストがどうなるのかは気になるところだ。
もしMetaが大盤振る舞いをして無料開放などをしたら、革命的だが、まだ限定的な公開にとどまっているところを見ると、技術開発だけでなく、ビジネス的な側面も考慮しなければならず、それらの結論がでた時点で満を持して登場するのではないだろうか。
3DスキャンとXR・メタバースが交わる未来へ
前述のように3DスキャンとXR・メタバースの組み合わせは珍しいものではない。MetaもHorizon Worldsという自前のメタバースを展開しており、今回の「Hyperscape」の体験をHorizon Worldsに直結してしまい、3Dスキャンからメタバースでの体験をスムーズに繋げる可能性もある。
3Dスキャン技術とXR・メタバースの組み合わせに向けたプラットフォームの動向を考えると、ARの企業として知られるNianticは「Scaniverse」というスマホ3Dスキャンアプリを無料で提供しながら、XRデバイスで3Dスキャンされた空間を共有して体験するデモを2024年6月に公開しているし、自社のAR生成ツールと3Dスキャンツールの連携を強めていく方針を発表している。
また、「Unreal Engine」と「Fortnite」を展開するEpic Gemasは、「Reality Capture」というツールを展開している。XR・メタバースを作るのにも使われているUnreal Engineが、3Dスキャンとさらに連携する可能性もある。最近、Epic Gamesが力を入れているFortniteのメタバース化と組み合わさっていくかもしれない。
ある技術が一部の人だけの特別な技術ではなくなっていき、社会的なブレイクスルーが起こったとき、見えてくるのは、まさに“未来”だ。
誰もがスマホで動画を撮るように3Dスキャンを気軽に行い、すぐにシェアしてVRで見られるようにする。
そんな未来が近づいていくことを実感できるHyperScape、日本でも体験できる日が来ることを望みたい。
