Home » VRで違和感のない触覚を実現するために フェイスブックが研究状況を公開


テック 2019.07.22

VRで違和感のない触覚を実現するために フェイスブックが研究状況を公開

2018年9月、年次開発者会議Oculus Connect 5でFacebookは力触覚グローブのデモ映像を公開しました。映像のみから納得するのは難しいかもしれませんが、VR内でブロックを掴むと同時に、グローブから力触覚の刺激が加えられ、本当に触っているかのように楽しんでいる様子が伺えます。

こうした”今まさに触れている”ということを実現するためには、情報通信に伴うラグを解消するチューニングや、人間の知覚における感覚種別間の、ズレに対する許容の程度について理解が必要となります。先程のデモを公開するまでのFacebook Reality Labsによる取組が公式ブログで掲載されています。

情報伝達におけるラグ


現実空間において、力触覚グローブを装着しながらテーブルに触ると同時に、聴覚、触覚、視覚に対して刺激を与えるというケースを考えます。これをさらに、テーブルとの接触という状況までを前半、接触にともなう刺激の呈示を後半として情報伝達の経路を確認します。


前半は「手がテーブルに接触」→「接触したことをグローブ自体が検知」→「グローブによる検知内容が通信」→「接触の種類や程度を物理演算」といった流れを伴います。

後半は聴覚のみを挙げると、「オーディオエンジンによる処理」→「OSがオーディオ情報を通信」→「ヘッドフォンから音声出力」と考えることができます。

このように、何らかの事象を再現するためには、様々なハードウェアやソフトウェアを介する必要があり、それぞれの処理速度や同期速度の違いから、ラグが生じることがあります。

開発当初は、触覚刺激の呈示は実際の接触から300ミリ秒の遅れがあり、これは明らかに遅れを感じるほどのラグとなっていました。しかし、刺激の出力結果や途中の処理のタイミングなどを調査・チューニングすることで、このラグを100ミリ秒程度に短縮することができました。


※接触から視覚、触覚、聴覚刺激が出力されるまでのラグ。計測によってラグにも幅がある。ラグの中央値は視覚が約70ミリ秒、触覚が約90ミリ秒、聴覚が約130ミリ秒。

同時性知覚における時間差の許容

チューニングを行うことで改善ができたものの、聴覚についてはいくらかラグが大きめとなっています。実際に、このパフォーマンスでデモを体験してもらうと、聴覚刺激を与えない方が評判が良いということがおきました。

これは、聴覚刺激のラグが大きいことで、3種の感覚刺激が全て与えられるまでの時間が間延びしてしまい、結果として”今、まさに触った”という実感が薄れてしまうためでした。

先程のチューニング結果によると、視覚刺激と触覚刺激の間はおよそ20ミリ秒の開きがありました。一方で、視覚刺激と触覚刺激にはおよそ60ミリ秒ほどの開きがあります。一体どれほどの差に収まっていれば、”同時”と感じることができるのでしょうか。

3種の刺激を様々なズレのパターンを伴って呈示して、それらが「同時と感じた」か、あるいは「同時と感じなかった」かを回答させるといった実験を行いました。複数の協力者による実験結果をまとめると、マルチモーダルな知覚おける分解能のようなものが見えてきました。


※複数の刺激が「同時だと感じた」回答の割合。黄色に近いほど同時と感じる回答の割合が大きい。横軸は視覚刺激と聴覚刺激の時間差。原点では差はなく、プラス側は聴覚刺激に遅れがあり。縦軸は視覚刺激と触覚刺激の時間差。原点では差はなく、プラス側は触覚刺激に遅れがあり。

グラフによると、同時と感じる割合は楕円のような形をしており、その中心地は、すべての感覚刺激の差がゼロの地点と比べてわずかにズレがありそうだとういことが見て取れます。視覚に比べると、触覚や聴覚がわずかに遅れても、1まとまりの事象だと捉えられると言うことができるでしょう。

また、楕円はいくらか横に広がっており、このことから、触覚は聴覚にくらべて、より遅れに敏感であると考えることもできるでしょう。

もちろん、今回の実験の協力者は限られた人数であり、さらに、刺激の質や組合せによって、これらの結果は十分に変わりうることは留意しておく必要があります。しかし、このように、人間における感覚刺激に対する分解能を調べることで、どこまで機器をチューニングする必要があるのか、どのように刺激を与えればより自然であるか、といったことが具体的になってきます。

最先端のデバイスの開発のために、このように、1つ1つのデバイスの試作や細かなチューニングや、人間の知覚を調査する実験といった研究が行われています。

(参考)Facebook Reality Labs


VR/AR/VTuber専門メディア「Mogura」が今注目するキーワード