日本時間8月1日、Metaは研究開発中のVRヘッドセットのプロトタイプを発表しました。人の目レベルの解像度（網膜解像度、Retinal Resolution）に加えて可変焦点機能を搭載した「Butterscotch Varifocal」と、高解像度で低遅延・歪みの少ないパススルーを実現する「Flamera」です。
（左が「Butterscotch Varifocal」、右が「Flamera」）
超高解像度×可変焦点の「Butterscotch Varifocal」
Metaは2022年、水平視野角1度あたり55ピクセル(55ppd)を実現するプロトタイプ「Butterscotch」を発表しました。特殊なカスタムレンズを採用し、視野角を「Quest 2」の半分にする代わりに、視力1.0と同様の見え方を実現するプロトタイプです。この「Butterscotch」に「可変焦点（バリフォーカル）」技術を組み合わせたものが「Butterscotch Varifocal」です。
（Butterscotch Varifocal。出所：Meta）
従来のVRヘッドセットは、焦点が1.5mから2m前後で固定されているケースが大半であり、「手元の物体にピントを合わせる」機能を持っていません。この結果、VRで表示されている物体は、少し離れた位置にあるものは鮮明に見えます。一方で顔の近くに物体を持ってきた場合、焦点をきれいに合わせることができず、少なからず違和感が生じます。
「可変焦点」機能では、アイトラッキング（視線追跡）によってVRユーザーの目がどこを・何を見ているかを検知し、ヘッドセットが自動でディスプレイを前後させ、焦点距離を調整します。これにより、近い距離の物体でも鮮明な映像が得られます。
（「Butterscotch Varifocal」の可変焦点システムが動作している様子）
なお、Metaは可変焦点システムを2015年から研究しており、2018年には「Half Dome」の名称でプロトタイプを発表。当時は文字通り「機械でディスプレイを動かす」メカニカルな方式を採用していましたが、2022年の「Half Dome 3」では電子的な可変焦点システムに移行。一方、今回の「Butterscotch Varifocal」では、旧来のメカニカルな可変焦点システムを採用しています。「Half Dome 3」のシステムは非常に繊細であり、ここに新たなモジュールを追加して調整するよりも、旧来のシステムを使うほうが安定性が高かったものと思われます。
（左が可変焦点オン、右が可変焦点オフ。いずれも焦点が近い状態でのものだが、文字の鮮明さが全く異なる。出所：Meta YouTube）
（Butterscotch VarifocalでVRゲーム「Lone Echo Ⅱ」をプレイしている際のクリップ）
ライトフィールドカメラでパススルー「Flamera」
もうひとつのプロトタイプが「Flamera」です。これはヘッドセットの前面に大量のカメラを取り付けてライトフィールドカメラとし、さらにセンサーとの間に「絞り」の層を加えています。これにより、ヘッドセットをつけたまま現実の風景を見れる「パススルー」機能の映像を、より高品質かつ歪みの少ない状態にします。
（「Flamera」。大量のレンズをヘッドセット前方に取り付け、センサーとの間に「絞り」を追加。高品質で歪みの少ないパススルーを実現する。出所：Meta）
既に発売されているMRヘッドセットではMetaの「Quest Pro」、将来発売予定のものでは「Quest 3」やAppleの「Vision Pro」等で実現している「パススルー」ですが、これらのヘッドセットのパススルーにはいくつかの課題が存在します。
パススルー用のカメラは、人の目よりも少し前に配置されています。したがって、カメラが撮影した映像をそのまま表示すると、距離のずれが違和感の原因になります。多くの場合は映像を別途処理して歪みやずれを補正しますが、今度は別の歪み（アーティファクト）を引き起こす可能性があります。今回、Metaは「Flamera」で、パススルーの画質を向上させ、低遅延を可能にするカメラシステムの構築に挑みました。
（「Flamera」の構造を模式化したもの。レンズアレイとセンサーの間に「絞り」を追加することで、センサーに不要な光が入ってしまうことを防ぐ。これにより、センサーの限られた能力を最大限に利用できる）
「Flamera」では、レンズアレイとセンサーの間に「絞り（Aperture）」を追加することで、不要な光をブロック。センサーに入る光の量を制限し、必要な部分だけをキャッチすることで、より高解像度で歪みの少ないパススルー映像を実現しています。また、「Flamera」の光学設計はヘッドセットの厚みが薄い時に最も効果を発揮するため、従来のヘッドセットをカスタマイズするのではなく、新規に設計されています。
（「Flamera」のライトフィールド・パススルー機能のデモ。）
将来のための「プロトタイプ」
今回Metaが紹介したプロトタイプの機能は、すべて・必ず、最終的な製品に搭載されるのでしょうか？
答えは「No」です。
MetaのリサーチディレクターであるDouglas Lanman氏は、「プロトタイプの大半は最終的に消費者向け製品にならないことを、研究者は受け入れなければいけません。あるものは大量生産が現実的ではなく、あるものは製品の大きさや重さ、価格、パワーを妥協して解決すべき問題ではなく、あるものは他の技術が成熟するのを待つ必要があります」と語り、「可変焦点も、私たちは1990年代に書かれた論文で初めて知りました。取り組みはじめたのは2015年で、公に発表したのは2018年です。もし、たったいま可変焦点を搭載したVRヘッドセットが製品化されたとしても、それはとても長い道のりだったと言えるでしょう」ともコメント。製品に搭載されるか否かは、あくまで他の要素とのトレードオフであり、仮に搭載されるとしても時間が必要である旨を述べました。
今回発表された「Butterscotch Varifocal」と「Flamera」は、いずれも米国ロサンゼルスで2023年8月に開催される「SIGGRAPH 2023」で発表予定です。
（参考）Meta
