5月末にカリフォルニアで開催されたAWE（Augmented World Expo）2019では、多くのVR/ARヘッドセットの展示が行われていました。
その中でも注目を集めていたのは、Varjo社のVR/ARヘッドセット「XR-1」です。Varjoはフィンランドに拠点を置くスタートアップで、人の目レベルの解像度のVRヘッドセットを開発していることで知られています。
AWEの直前にVarjoが発表したのは、同社のVRヘッドセット「VR-1」の前面にカメラが２基ついたVRヘッドセット。このカメラを通して現実を見ることができ、いわゆるAR/MRを可能にするという特徴があります。
人の目レベルの解像度のVRとARを切り替えられるヘッドセット「XR-1」。果たしてどのような体験が可能なのか、レポートします。
VRの中で「人間」が見える
XR-1は、VR-1をベースにしたVR/ARヘッドセットです。VR-1の前面にあったメタリックなフロントパネルはなくなり、代わりに2基のカメラが搭載されています。カメラの性能は12メガピクセルでリフレッシュレートは90Hz、1/3型のセンサーサイズで82度×82度の視野角です。
AR用のモジュールは軽量なため装着感はVR-1とさほど変わりません。装着方法もVR-1と同じく、頭の後ろでツマミを回転させて固定させます。メガネを付けている人でも装着には全く問題ありません。ケーブルを除いて公称1,065gの筐体は数値ほどは重く感じませんが、600g前後のOculus Questなどと比べるとやや重く、長時間体験すると首に疲れを感じそうです。
体験は最初、VR内で外国の街にいるシーンを見るというものからスタート。XR-1はVR-1と同じく、2枚のディスプレイを重ねることで視点の中心部分を人の目レベルの高解像度で表示します。中心にはピクセルの画素密度3,000ppiを誇る解像度1,920×1,080のマイクロOLEDディスプレイが搭載されています。画素密度はディスプレイがどの程度精細に見えるかを示す指標で、3,000ppiはVIVE Pro（615ppi）の5倍程度です。周囲はVIVE Proと同等の1,440×1,600のAMOLEDディスプレイが搭載されています。
この仕組により、顔を向けている正面（画角は30～40度程度）は極めて鮮明に見ることができます。その代わり、若干ぼかしてはありますが中心と周辺で解像度が変わる境目はまるで窓のように存在するため、体験中も多少気になります。
XR-1では、実はVRを体験中の時点でPC側で設定を切り替えると、現実で周りにいる人が見えます。これが1点目の驚きです。これはVR空間内に、カメラを通して見ている現実の人間をくり抜いて表示させているというもの。輪郭などは非常に粗いものですが、しっかりと認識できます。また、自分の手も認識して見ることができます。
あくまでも人間の形状をVR内に表示しているだけなので、周囲の環境は見えず、さながらグリーンバックで荒く合成した映像を見ているかのようでした。しかし、表示されている人間の解像度は高く、普通に会話ややりとりができてしまいます。15ミリ秒以下を謳う遅延は確かにほとんど感じられません。目の前にいる人と会話をしても口の動きと声が一致しています。
VRとARの切り替え
「では、次は……」というVarjoのスタッフの自信ありげな言葉とともに、XR-1の本分であるARモードへの切り替えが始まりました。
VRの世界が天井から割れ、徐々に変化していきます。そして現れるのは現実世界。つまりARです。カメラ越しのARのため、いわゆるビデオパススルーで実現しています。解像度も高く、一瞬「いつの間にヘッドセットを外したんだろう？ いや、これはARだ！」と脳が混乱したほど。
VarjoはXR-1の発表で、フィンランドの自動車メーカーVolvoとのパートナーシップを紹介し、XR-1を装着したまま公道で自動車の運転ができると謳い、運転に耐えうる遅延であることを強調しています。それももっともの自然な感覚です。
そしてXR-1越しに見えるリアルな世界はフルカラーです。筆者これまで、360度動画でしかVRヘッドセットを装着しながらフルカラーで現実を見ることがありませんでした。Oculus Rift SやMirage SoloなどのVRヘッドセットに搭載されているビデオパススルーで見えるのはすべてモノクロの世界です。
（Mirage Soloのビデオパススルー、現実世界はカラーで見えない）
ARは非常に綺麗、MR的な表現も可能
XR-1ではARモード中に、CGを合成することができます。合成されるCGは当然XR-1の高解像度を活かしたものです。つまり人の目レベルの高解像度なディスプレイに耐えうるCGモデルが出現するということは、（視点の中心だけは）現実と限りなく近いCGが合成されることになります。
スタッフの合図とともに、眼の前に徐々に現れてくる黒い自動車のCGモデルは非常に鮮明でした。光などの関係もあるため、現実に100%なじんでいるとは言えませんでしたが、現実に出現した様子は、まるで魔法で出現したかのような感覚になります。
“低遅延”の秘密
XR-1のARでは、ビデオパススルーで15ミリ秒以下の遅延を実現。これにはアイトラッキングが活用されています。VRヘッドセットのVR-1ではアイトラッキングは視線の動きを分析するデータ収集用に使われていましたが、XR-1では現実世界を捉えるために使われています。
Varjoが「フォービエイデッド・パススルー」（Foveated pass-through）と呼ぶこの技術では、カメラを通してリアルタイムにキャプチャする映像を低遅延にするためにアイトラッキングが使われているとのこと。
VRではしばしばアイトラッキングの活用として「フォービエイデッド・レンダリング」という技術が注目を集めます。これはアイトラッキングを使って目で見ている部分のみを高解像度で描画し、周りを低解像度で描画するというもの。VR-1やXR-1では目の動きは使われず“固定した”フォービエイデッド・レンダリングが行われています。完全なフォービエイデッド・レンダリングを実現するには中心部分のマイクロディスプレイをアイトラッキングに従って物理的に動かす必要がありますが、Varjoは実装していません。
XR-1ではディスプレイを動かすフォービエイデッド・レンダリングの代わりに、現実を高解像度・低遅延でキャプチャするためにアイトラッキングを使っています。そのため、アイトラッキングされていることに気づかない程度に現実は常に鮮明に見えています。15ミリ秒以下という低遅延の秘密はアイトラッキングにあるようです。
VR/AR切り替え型へのヘッドセットとしての大きな一歩
ビデオシースルー型で現実世界にバーチャルな物体を表示させるいわゆるMRデバイスは、キャノンのMREALなどもあり、決してそれ自体は新しい体験というわけではありません。
XR-1は、中心部のみではありますが現実を見る人の目と同等レベルの超高解像度かつ低遅延なVR/ARを実現している点、そしてHTC VIVEと同じSteamVRの仕組みを使って比較的簡易に高品質なビデオシースルーを可能にしている点が革新的と言えます。
一方、XR-1は完璧かというとそうではなく、気になる点もいくつかあります。ヘッドセット前面にあるカメラの位置が固定されており、体験者の瞳孔間の距離と、2基のカメラ間の距離が調整できない仕組みになっているため、立体視に違和感を感じる可能性もあります。また、カメラの位置と体験者の目は10数cmの差分があります。ここはプログラムで補正をかけていますが、手元を見るときなどに違和感があります。手元の表示に関しては、スマートフォンやスマートウォッチの文字が見えるでほどではありませんでした。
また超高解像度であるがゆえに、CGを描画する際に高い負荷が生じており、ARモードでCGを合成しているときはVRヘッドセット側で頭を振ると描画が追いつかずフレームレートの低下が感じられました。
そういう意味では、XR-1はMirage SoloやVIVE Proなどの各種ヘッドセットでできた白黒のビデオパススルーと比べると、大きく進化した、VR/AR切り替えができるヘッドセットとして地平を切り拓く第一歩（第二歩？）を踏み出したデバイスと言えます。
また、HoloLensやMagic Leapなど透過型のAR（MR）デバイスが注目を集める中で、ビデオパススルー型の実力を示したとも言えます。視野角の広さや合成されたCGが透けないことの実在感、低遅延の実現などはビデオシースルー型の新たな可能性を示しています。
（Varjo社が公開している視野角の違い。緑色がXR-1、黄色と赤色の線は透過型のMRデバイスの視野角）
（透け方に関しての比較。左が透過型のMRデバイス、右がXR-1）
VR-1を含めXR-1の日本国内の発売は未定です。VR-1が6,000ドル（約66万円）ということもあり、XR-1はさらにその上をいく価格になることは間違いないと考えられます。
なお、XR-1は、VR-1のフロントパネルをはずして換装しているのでユーザーがパーツ交換できるように見えますが、この作業自体はメーカー側で行われるとのこと。VR-1を所持していてXR-1への切り替えを行う場合は、メーカーでの作業が必要となるようです。
