Googleとミネソタ大学の研究チームは、MRヘッドセット向けの新しいインターフェース「Reality Proxy」を発表しました。Reality Proxyは現実の物体をデジタル空間で抽象的に再現する仕組みです。AI支援を活用し、自宅の本棚にある本のデジタルコピーを座ったまま取得したり、多数のドローンにまとめて指示するなど、遠くに存在する現実物体を手元で操作することを可能にします。
従来のMRでは、手の届かない位置にある物理オブジェクトの操作が難しいという課題がありました。特に遠隔の対象を正確に選択・操作するには手間がかかります。本論文の共著者であるマー・ゴンザレス＝フランコ氏は、AIが人間の日常業務を支援するとすれば、おそらくXR経由になると予想し、現実の物体を操作する場合には高い精度が必要だと指摘しています。
この課題に対応するため、研究チームは「Reality Proxy」という新システムを開発しました。MRヘッドセットのカメラとAIを連携させ、撮影映像や既存の地図情報、ユーザーの操作入力を組み合わせます。これにより、関心のある場所や物体を、ほぼ瞬時にミニチュアのような「ドールハウススケール」で表示できます。ユーザーは物体に近づくことなく、手元で遠隔に存在する物理オブジェクトと自然にやり取りできます。多数の物体が密集している場合や遠くにある場合、あるいは一部が見えにくい場合でも操作可能です。
具体的な機能としては、複数の物体を同時に扱う「マルチセレクション」、意味に基づく「セマンティックグルーピング」、空間の一部を拡大する「空間ズーミング」などがあります。これらは直感的なジェスチャーで行えます。
応用例としては、自宅の本棚にある本のデジタルコピーを座ったまま手元に引き寄せたり、多数のドローンをまとめて指示する操作が挙げられます。また、建物に入る前にミニチュア表示で内部の経路を確認し、移動ルートを把握することも可能です。こうした利用により、空間認識やナビゲーションの効率向上が期待されています。
今回の研究成果は、9月末に韓国で開催される「ACM UIST Conference」で発表される予定です。
Mogura VRはUploadVRのパートナーメディアです。
