ソニー・インタラクティブエンタテインメント（SIE）が米国特許商標庁に行っていた、VR向けのフェイストラッキングと思われる特許出願が承認されました。

今回承認された特許の正式名称は「VR環境内のVRユーザーのための、トラッキングされたフェイス要素の統合（Integration of tracked facial features for VR users in virtual reality environments）」です。

口や表情の動きをリアルタイム認識・反映

特許では、VRヘッドセットと思われるデバイスの内部に実装されたカメラによって、ユーザーの口や表情の動きをリアルタイムで認識するシステムと説明されています。収集されたデータは、マルチプレイヤー形式のVRゲームなどで、アバターの表情等に反映されると思われます。

米メディアUploadVRによれば、今回の特許のヘッドセットにはアイトラッキングも実装されているとのこと。内蔵カメラが、ユーザーの顔全体を認識できない場合は別途センサーがユーザーの顔面を推定するよう促し、同時に鼻の位置を判断します。

https://www.youtube.com/watch?v=v3XcQtoja_Y

（フェイスブックが研究中の、フェイストラッキングシステムの動画）

2020年5月現在、この特許をSIEが実用化する予定かは不明ですが、実際に使用される場合、開発が噂されている次世代VRヘッドセット「PSVR2」に導入される可能性が高いと思われます。

SIE研究者が"指トラッキング"コントローラーを発表、PSVR2と関連か？ | Mogura VR

MoguraVR

「PSVR2」の発表は2021年以降？ 英VRゲームスタジオCEOがコメント | Mogura VR

MoguraVR

（参考）UploadVR