グーグルが米国特許商標庁に提出した特許が公開されました。アイトラッキングカメラを用いて、VRユーザーの表情を認識。アバターに反映させるという内容です。
ユーザーの表情をアバターに反映
特許のタイトルは、“Classifying Facial Expressions Using Eye-Tracking Cameras（アイトラッキングカメラを用いた表情の分類）”。アイトラッキングセンサーと機械学習のアルゴリズムを組み合わせ、ヘッドセットを装着したユーザーの表情を認識するものです。そしてユーザーが驚けば驚いた表情を、喜べば笑顔を、VR空間内のアバターの表情に反映させます。
アイトラッキング（視線追跡）技術の活用方法としては、代表的なものにフォービエイテッド・レンダリング（Foveated Rendering）などがあります。しかし今回の特許はユーザーの”表情”に注目しており、ユニークです。
よりリアルなコミュニケーションが可能に
表情認識には多くの企業が取り組んでいます。すでにフェイスブックなどは、音声から表情を認識する方法でVR内のコミュニケーションを豊かにしようとしています。AppleがiPhone X以降搭載している顔認識も非常に精確に表情を捕捉するため、日本ではVTber向けのアプリにも使われています。
アイトラッキングも加わることでユーザーの感情に合わせてアバターの表情も変化し、より現実に近いコミュニケーションがとれることになります。
グーグル自身は、2018年11月現在ソーシャルVRコンテンツやアイトラッキングを備えたデバイスを提供していません。
