2022年8月4日、Googleはクラウドストリーミングサービス「Immersive Stream for XR」の、各種ヘッドセットへの対応に取り組んでいることを明らかにしました。仮にこれが実現すれば、開発者はGPUの非力な一体型VRヘッドセットやARグラスに対しても、フォトリアルな映像や体験が提供できるようになります。
（左はモバイルGPUでレンダリングした映像、右はデスクトップGPUでレンダリングした映像。画像: Google）
モバイル端末やヘッドセット単体でもフォトリアルな体験を提供
現在のモバイル向けGPUは、デスクトップPCのGPU等と比べると非力であり、フォトリアルな映像のレンダリングは困難です。これを解決するために、クラウド上で強力なGPUを使用し、レンダリングした映像をモバイル端末にストリーミングする「クラウドストリーミング」と呼ばれる方法がゲームなどの分野で導入され始めています。
Google Cloudの「Immersive Stream for XR」はクラウドストリーミングにより、ユーザーがアプリをダウンロードしなくても、没入感のある体験を提供できます。またクラウドでレンダリングを行うため、ハードウェア側のスペックは大きく緩和されることになります。
今回、GoogleはXR関連の標準規格「OpenXR」対応ヘッドセットにストリーミングを行うために、OpenXRクライアントに積極的に取り組んでいるとコメント。各種ヘッドセットへの対応を進めていることを明らかにしました。既存のVRヘッドセットやARヘッドセットでは「Meta Quest 2」や「HoloLens 2」を含むデバイスがOpenXRに対応しています。Googleによれば、これらのヘッドセット向けに「VR Mode」と「Stereo Augmented Mode」をサポートするとのこと。
なお、2022年8月現在の「Immersive Stream for XR」はプレビュー版であり、AndroidやiOS、PCにレンダリングした結果をストリーミングすることが可能で、スマートフォンなどで実際に体験できるデモをKDDIやBMWなどが用意しています（参考）。一方、現時点では、VRヘッドセット等に対しては未対応。上述のように、対応を進めている状態です。
クラウドレンダリングの遅延対策も
Googleは、クラウドレンダリングにおけるAR体験の「遅延対策」についてもコメントしています。例えば「Immersive Stream for XR」を利用してARを体験する場合、モバイル端末がカメラの位置や姿勢、タッチイベント、ライティングのデータなどをクラウドに送信します。サーバー側は送信されたデータをもとに、強力なGPUを使ってフォトリアルな映像をレンダリング、動画としてモバイル端末にストリーミングします。デバイスは送信された動画を受け取り、カメラから得られた画像と合成して表示します。
しかし、モバイル端末がカメラの位置姿勢を送信してから端末に映像が描画するまでには時間がかかります。その結果、映像がストリームされるまでの間にカメラが移動して、カメラ映像と表示する物体の位置がずれてしまい、ユーザーは体験に没入できなくなってしまう可能性があります。
これに対し、Googleは「世界中に用意したクラウドサーバーのうち端末に近いサーバーを利用する」という方法で遅延を減らしています。加えてカメラ画像に対してレンダリング画像を固定するアルゴリズムを開発し、通信に遅延があったとしても、映像のズレがなく、没入感のある体験を可能にしています。
