「現実と区別がつかないレベル」への挑戦……フェイスブック、サウンド関連の研究内容を公開

フェイスブックのAR/VR関連部門「Facebook Reality Labs」の研究チームは、人の聴覚や音響技術に関する研究内容を公開しました。「現実と区別のつかないほどのバーチャルサウンド」実現を目指し、ARグラスでもその技術を活用する方針です。

バーチャルで「リアルな」サウンドの実現に必要なこと

研究チームは、このプロジェクトが「フェイスブックのARグラス開発とダイレクトに関係している」と明言。チームのミッションとして、「現実の音と区別がつかないバーチャルサウンドを実現すること」「人間の聴覚を再定義すること」の2点を掲げています。

これまでの人間の聴覚に関する研究から、人によって異なる形状の耳でどのように音を聞き取っているか、という点は、HRTF（頭部伝達関数: Head Related Transfer Function、身体を含めた周辺物により生じる音の変化を表現したもの）ですでに説明がなされています。しかし個々人のHRTFを計測することは非常に手間がかかり、多くのユーザーへの一律適用は現実的ではありません。

フェイスブックはこの点について、「個々のHRTFを、耳の写真を撮る程度のシンプルな方法で推計する、信頼できるアルゴリズムを開発したい」とコメントしました。

新たなノイズキャンセリング技術とは

目標達成の手段の1つが、“contextually aware noise cancellation（コンテクストに基づいたノイズキャンセリング）”です。従来のノイズキャンセリング技術は周囲の音全ての遮断を狙っているのに対し、“contextually aware noise cancellation”では、ユーザーが聞きたい音のみを抜き出そうとしています。一方その他の音は減衰させ、聞きたい音を際立たせるのが狙いです。

具体的な手法として、イヤフォンやグラス型デバイスのプロトタイプを作成。マイクやヘッドトラッキング、アイトラッキング機能を搭載してユーザーの周囲の音情報を取得、ユーザーが聞きたい音（そしてそのコンテクスト）を判別しようとしています。

ARクラウドにも音情報を

またこの音に関する情報は、同社が開発を進める「LiveMaps」に付与することも可能としています。「LiveMaps」は現実空間とARで表示する物体やアバターなどを同期させるために必要な、いわゆる「ARクラウド」と呼ばれる技術です。「LiveMaps」に付与された音のデータは音響を考慮して補正され、デバイスを通じて再生できます。