MR（Mixed Reality/複合現実）は、ヘッドセットの前面に搭載されたカメラを通して現実空間をスキャンし、その空間に合わせてバーチャルな要素を配置します。壁や床、家具などの物理的な存在を認識し、それらとバーチャルオブジェクトが自然に相互作用することで、リアルな体験を生み出します。2023年のMeta Quest 3の発売以降、この技術を活用したコンテンツ開発が急速に進展しています。
2025年3月にGDC2025で行われた「現実を融合し、驚きを倍増させる：MR開発のエキスパートガイダンス（Merge Realities, Multiply Wonder: Expert Guidance on Mixed Reality Development）」というセッションでは、MetaとResolution Games、Nianticなどのの専門家たちが最新のMR開発に関する知見を共有しました。MR体験の基本構成要素から公開されたばかりのパススルーカメラAPIの活用事例まで、コンパクトにまとまった講演の様子をレポートします。
MRの基本要素と魅力
セッションの冒頭でMetaのプロダクトマネージャー、カーク・バーカー氏は、まず複合現実の基本概念を説明しました。彼は最近体験したMRゲーム「Guardian of Realms」を例に挙げ、自宅のリビングルームという現実空間にバーチャルの侵略者が侵入してくる臨場感溢れる体験を紹介。
「自分の庭を見ると、戦士たちがパティオに忍び寄ってくるのが見えます。あなたは剣を手に彼らと戦い、窓から飛び出してくる敵を迎え撃ちます。自分の家、自分の物理的な環境の中で、この没入感を体験するのは本当に素晴らしいものです」とバーカー氏は語りました。
MR体験を実現する技術は、主に3つの基本要素で構成されています。
- パススルーと深度検知: ヘッドセットに搭載されたカメラが現実空間を映し出し、Depth APIによって物体との距離を検知することで、バーチャルオブジェクトと物理オブジェクトが互いに遮蔽（しゃへい）し合う「オクルージョン」を実現します。これにより、バーチャルの物体が実際の家具の後ろに隠れたり、前に出たりといった自然な表現が可能になります。
- アンカー: 3D座標空間における参照点で、例えば壁にポスターを配置した場合、そのポスターが常に同じ位置に表示されるよう固定する機能です。「空間アンカー」や「シーンアンカー」などと呼ばれることもあります。
- シーン理解: 部屋の構造や家具などを認識し、「壁」「天井」「ソファ」「ベッド」などの意味情報（セマンティック情報）をゲーム開発者に提供する技術です。これにより、例えば「天井にだけ蜘蛛を這わせる」といった現実空間に対応したゲーム体験が可能になります。
これらの要素を組み合わせることで、没入感のある、そしてインタラクティブな、魅力的なMR体験を生み出すことができると説明しました。
先行する開発者が語るMR体験のデザイン
次に登壇したCreatureというスタジオのクリエイティブディレクター、ダグ・ノース・クック氏は、Meta Quest向けMRゲーム「Starship Home」の開発経験から得られた知見を共有しました。
「Starship Home」は、プレイする部屋を宇宙船に変え、宇宙空間に飛び立って外宇宙の植物標本を収集するゲームです。
クック氏はMR体験をよりイマーシブにするための重要な設計原則として、以下の点を挙げました。
- 表面認識: どんな表面でも対応できるオブジェクト設計が重要です。「Starship Home」では、植木鉢が空中に浮かんでいる時は小さなジェットが出るのですが、床や棚の上に近づくと影が濃くなり、足が出て着地するなど、その場の環境に応じた挙動を示します。「すべてのオブジェクトは文脈を保ちつつ、表面に依存しないように設計されています。空中に浮かぶことも、床に付けることも、ソファの上に置くことも、テーブルの上に置くこともできます」とクック氏は説明しました。
- 製品デザインとしての思考: バーチャルオブジェクトは部屋の中の実物と同じくらい詳細かつインタラクティブである必要があります。「私たちが目指したのは、ユーザーが私たちのバーチャルオブジェクトのために実際の家具を動かすほど意味のあるものにすることでした。そして実際に、ユーザーのビデオやプレイテストでそれを目にしています」とクック氏は語りました。
- 不可能を可能に感じさせる: 例えば床から15フィート下まで伸びる収納コンパートメントなど、実際には存在しないが本当にあるかのように感じさせる仕掛けを作りました。クック氏は「床を通して見ると、収納コンパートメントは15フィート下まで伸びているように見えます。実際には存在しませんが、そこにあるように感じられるのです」と説明しました。
- 直感的な操作: ユーザーがオブジェクトを見て、その機能が理解できるようなデザインを心がけました。クック氏は「ユーザーが少し異質で少しスクイーズ可能なオブジェクトを見ても、それが何をできるのかを理解できるべきです」と述べ、必要に応じてラベルなどの標識も活用したと語りました。
- インタラクションの深さ: 操作の一つ一つに音や動きのフィードバックを組み込み、物理的なメカニズムを感じさせるよう工夫しました。チームでは「Goopy（ヌルヌル感のある）」と呼んでいるこの要素は、ユーザーを喜ばせ、驚かせるための重要な要素だといいます。
例として紹介された「Angustus Spiral」という目玉型の植物は、プレイヤーやオブジェクトを追いかけ、動きに反応したり、水をやらないと具合が悪くなったりするなど、言葉を使わずにユーザーとコミュニケーションを取ります。
クック氏は「MRの魔法は、どんな空間にも新しい記憶を作り出せること」と強調しました。「空っぽのリビングルームや、新しいアパートに引っ越したばかりの部屋を、宇宙船に変えることができます。オフィスの小さな空間でもできるんです。普通の空間でもデザイナー家具で美しく飾られた家でも、素晴らしい宇宙船になります。もし猫がいれば、猫もこの冒険に参加するんですよ」と語りました。
最後に「部屋自体もキャラクターである」という考え方を強調し、「MR向けに開発する場合、脈絡のないゲームを作っているのです。どんな環境でも意味のある体験を提供しなければなりません」と締めくくりました。
パススルーカメラAPIと活用事例
セッション後半では、バーカー氏が3月に新しく公開されたばかりのパススルーカメラAPIについて紹介しました。このAPIは、ヘッドセットの前面カメラへのアクセスを開発者に提供し、カメラフレームを取得してアプリで活用することを可能にします。このAPIは現在、パブリックデモ版として公開されており、Android Camera 2を通じてRGBカメラのデータにアクセス可能です。
ユースケースとしては、機械学習フレームワークと組み合わせて物体検出を行うこと、3Dの物体にテクスチャを設定して見た目を変えること、現実世界の明るさや色味を調整してフィルターをかけられることなどを挙げています。
デモとして、YOLOアルゴリズムを使った例が示されました。このアルゴリズムはHugging FaceからダウンロードしてUnityにコンパイルし、パススルーAPIと組み合わせたものです。現実世界の物体を認識し、境界ボックスと確率（この物体が何である可能性が高いか）を表示できることが紹介されました。
バーカー氏は「シーン内で一般的なものを識別することはできますが、特定のものを識別するためのトレーニングはしていません。例えば『白髪のプードル』だけを探したいなら、そのための物体検出アルゴリズムを見つけて組み込み、ゲームで使用できます」と説明しました。
Resolution gamesの事例
ヒット作を含むXRコンテンツをこれまで10以上公開しているResolution gamesのCEO、トミー・パーム氏は冒頭で「私は実際、このパススルーカメラAPIを長い間楽しみにしていました。ゲームだけでなく、あらゆる用途に非常に強力なものだと思います」と述べ、同社が実験した3つの事例を紹介しました。
「Spatial Ops」は、自宅の空間を使い、遠くのプレイヤーとマルチプレイで遊べる新感覚のシューティングゲームです。パーム氏によれば「2年以上かけて開発しましたが、技術が整うはるか前のチャレンジでした。アンカリングのAPIが商用ゲームとして出荷できるほど十分に機能するようになったので、2024年の秋に発売した」と説明しました。
（部屋に置くバーチャルな障害物は次々と部屋に馴染んでいく）
このゲームでの実験では、パススルーカメラを使って、ユーザーが実物のテクスチャをバーチャルオブジェクトに適用できる機能を実験しています。プレイヤーは自分の空間内にバーチャルオブジェクトを配置し、部屋の家具をマッピングして雰囲気を組み合わせることができます。これにより、現実の家具の後ろに隠れたり、手榴弾を投げて実物やバーチャルのオブジェクトに跳ね返したりといったアクションが可能になります。パーム氏は「人々がMRに懐疑的であっても、これを試せば一目瞭然でどれほど破壊的な技術かわかるような使用例の一つです。VRでは酔いが大きな問題でしたが、MRではこのような自然な動きがあれば、それはずっと少ない問題です」と語りました。
「Lab Rats」は、社内ハッカソンで開発された実験的なコンテンツで、非対称の多人数プレイを意味のある形で実現するためのアイデアです。一人のプレイヤーの部屋をパススルーカメラで3Dスキャンし、別のプレイヤーはその空間にネズミとして入ってパズルを解くという非同期マルチプレイヤー体験を提供します。
パーム氏はデモ映像を見せながら「テクスチャはかなり粗いですが、背景としてバーチャルオブジェクトを配置するには十分に機能します。これはラボラッツの視点からの映像で、彼らはパズルを解いて進む必要があります。これは非同期のゲームで、とても面白いものです。他の人の空間を訪れるのは非常に興味深く、クールな背景を提供してくれます」と説明しました。
「Twenty Guys」は、現在早期アクセス版がリリースされているタイトルで、ユーザーが自分で、MRヘッドセット越しに見た2D画像から人形のテクスチャを作成し、キャラクターを作成して遊べる機能を搭載しています。デモでは、プレイヤーが大量のPorky Guysを生成したあと、自分だけのゲーム体験を構築できる様子が示され、「重力をかけて目標にヒットさせるような」遊び方も可能とのこと。
Niantic「Hello Dot」の例
Nianticのエグゼクティブ プロデューサー、アリシア・ベリー氏は、モバイルARゲーム「Peridot」のQuest 3版「Hello Dot」への移植について説明しました。Dot（ドット）というペットのようなキャラクターとインタラクションを楽しめるコンテンツです。移植には約3ヶ月ほどかかり、「Quest 3ではカメラアクセスを失いました。スマートフォンでは使用していたのに。電話で実現していた素晴らしい機能をQuest 3に移植したかったのですが」とベリー氏は説明しました。今回のパススルーカメラAPIによってようやくスマートフォンに体験が追いつくと考えているようです。なお、「Hello Dot」は現在Quest 3で入手可能で、近日中に大型アップデートが予定されているとのこと。
ベリー氏は「Hello Dot」で挑戦しているというMRの活用例を紹介しました。
- Dot Cam: ドットを追尾するカメラモードです。ベリー氏は「左の最初のビデオはDotカメラです。部屋を通してドットを追いかけます」と説明しました。この事例では、ナイアンティックの「Scaniverse」という3Dスキャンアプリを使って部屋をスキャンし、ガウシアンスプラット（点群データを基にした立体表現手法）として描画。その上にドットのアニメーションを重ねることで、現実の空間に溶け込んだアニメーションを再現できるようになります。「VRで3Dシーンを作成し、2Dの動画を作成できます」とベリー氏は語りました。
- 物体検出: ナイアンティック独自のARDK（拡張現実開発キット）を使用した例で、現実世界の物体を検出する機能です。デモでは、ドットが木を見つけて興奮する様子が示されました。プレイヤーはクエストを完了することでゲーム内通貨を獲得できます。ベリー氏は「カメラアクセスがあれば、バーチャルオブジェクトの境界を本当に押し広げられると考えています。例えば、実際の青いマーカーを手に取りドットを青く塗ることができるかもしれません。またはバーチャルのスポイトがあり、何かから色を取って他のものに落とすことができるかもしれません」と将来の可能性について語りました。
そして、最後には技術を組み合わせた「経路案内」というユースケースを紹介。「経路案内」は、3Dスキャン技術であるガウシアンスプラットを使った空間内でのナビゲーションです。VRヘッドセットを装着したユーザーは、3Dスキャンされた空間をドットが移動して案内していく形式で、現実世界のツアーを疑似体験することができます。
講演ではモバイルアプリを使った例が紹介されましたが、今後Questにも対応するとのこと。「おそらく上半期には、ドットがガウシアンスプラットを通してナビゲートし、道を見つける能力を持つでしょう」と予告しました。「ARアプリとVRヘッドセットを組み合わせた新しい体験です」とベリー氏は語りました。
Meta Quest3/3S向けのパススルーカメラAPIは、Metaの開発者向けサイトにて公開されています。
