11月2日にDisney Researchが触覚フィードバックと360度動画を組み合わせた論文を発表しました。Disney Researchはアメリカのロサンゼルスやピッツバーグ、スイスに研究所を持ち、コンピューターグラフィクス、コンピュータービジョン、ビデオプロセッシングやロボティクスなど多くの研究を行っています。
発表された論文では、触覚フィードバックを持つ椅子を作り、人の触覚に対する認知力や精度について実験を行っています。実験結果の応用例として、Gear VRを用いて360度動画を視聴する際にいくつかの触覚エフェクトを提案しています。この定義したエフェクトに関しては動画の作者などが簡単に使えるようにライブラリとして実装されています。
論文の背景
本論文の第1著者であるAli Israr氏は触覚技術の研究・開発を主に行っています。Ali氏は、2014年に発表した論文で、触覚フィードバックを用いて物語の読み聞かせを6歳から8歳の子供に対して行った結果、物語の内容の理解度や記憶の定着が良くなるという論文を発表していました。その結果から、本論文では、360度動画の体験の質をより上げる手法として触覚フィードバックを持つ椅子を提案しています。
実験内容
実験に使用した椅子は、背中の部分に6つの振動子、座面の裏側と背板の裏側にそれぞれサブウーファーを取り付けています。また、ゲームエンジン側(Unity)からこれらの装置を操作するようなプラグインを用意しました。このプラグインにより、どの振動子を振動させるか、振動させる時間、間隔などを操作できます。
実験結果と応用例
触覚フィードバックを持つ椅子を用いて実験した結果、以下の2点が分かりました。
・人が知覚しやすいのは、動かない振動の位置を推定することよりも、振動位置を変化させたときの変化の方向であること。
・明らかに異なる2点間(座面の下と背板の裏側)に設置したサブウーファーを順番に鳴らすことで仮想的に振動が動いていると認識していました。従って、錯覚により体の周辺に何かが移動していることをこの手法を使うことで認識させることができます。
以上の実験結果を用いて以下のライブラリを作りました。VRコンテンツはUnityで作られ、Galaxy S6 Edgeが使われました。
ライブラリは、以下の5種類です。
・Line – 背中に配置した複数の振動子を順番に振動させる
・Location – 特定の振動子を振動させる
・Rain – 振動子をランダムに振動させて、雨が落ちる様子を再現する
・Rumble – 椅子に配置したサブウーファーを鳴らして椅子全体、もしくは順番に鳴らす
・Pulse – 体験者に取り付けた脈拍計で計測した鼓動と同期するように振動子を振動させる。
5種のパターンに関してライブラリとして作ったので、例えば360度動画の内容に合わせてコンテンツ製作者が簡単に挿入できます。
今回の論文では、単純な振動という触覚フィードバックでも人の錯覚によって動いているように感させることができるということが、なんらかの触覚を提示したい人にとっては有用な情報です。
論文では人が椅子にちゃんと腰かけて体験することを前提としていますが、コンテンツによっては見回したりしてのぞきこんだりするることもあり得ます。その場合、背もたれから背中が離れてしまうため正しく振動が伝わらないです。本論文のように直接体に取り付けない場合は振動を感じることができないことがあるのでその点にも注意しなければいけません。
触覚フィードバックはまだ普及前。このような新しい知見を元に今後も様々な提示方法が発表されるはずですので、注意して見ていきたいところです。
(参考)
Disney Research – (英語)
https://www.disneyresearch.com/
VR360HD- A VR360° Player with Enhanced Haptic Feedback – (英語)
https://www.disneyresearch.com/publication/vr360hd-player-with-enhanced-haptic-feedback/
Feel Effects: Enriching Storytelling with Haptic Feedback – (英語)