ニューロテクノロジーで表情に表れる前に感情を認識するVRシステム「MASK」


VRでコミュニケーションをとるソーシャルVRに注目が集まっています。ソーシャルVRの実現には、フェイスブックが積極的に取り組んでいるほか、VRのキラーコンテンツになるとの声もあります。

その際に、VRでアバターの感情表現をより豊かにするものとして注目されているのが「表情認識」です。

スイスに拠点を置くMindMaze社は、ニューロVRテクノロジーを応用して“感情を読み取る”VRヘッドセット向けシステム「MASK」を発表しました。顔の表面から電気インパルスを検出し、表情に表れる直前の感情を認識してアバターに伝えることで、現実の感情とアバターの感情を同期できる、としています。

MindMaze創業者Tej Tadi博士

MindMazeは2011年にTej Tadi博士により創業しました。Tej博士は、スイス連邦工科大学でバーチャルリアリティ&コンピューターグラフィクスの修士課程を修了し、博士課程では最先端の脳イメージング技術、認知心理学、神経画像処理を組み合わせ臨場感あふれる没入型バーチャルリアリティシステムを構築しました。

2016年2月には脳卒中の治療にVRを活用するなどの目的でVRスタートアップ史上最高額の1億ドルを資金調達しています。

現実とアバターの感情を同期する「MASK」

ニューロVRテクノロジーにより現実の感情をデジタル世界へ同期できるVRヘッドセット「MASK」を発表しました。「MASK」は以下の特徴を備え、ソーシャルVRなどの感情が重要になるアプリケーションにおいてより現実とアバターの感情を同期させ、感情的に没入して体験ができるとしています。

「MASK」の特徴

現実よりも速い感情認識

進化した機械学習と生体信号処理を利用することで、ユーザーの顔に表れる数十ミリ秒前の表情をデジタル化しアバターに反映できます。

進化した表情認識

顔の表面から電気インパルスを検出し、独自のアルゴリズムで分析することでトレーニングや事前のキャリブレーションなしに各個人の神経信号を生成します。

さまざまなヘッドセットに対応

「MASK」のハードウェア部分は、軽量のフォームパッド形状となっています。Gear VRのようなモバイルヘッドセットから、Oculus RiftやHTC Viveといったデスクトップ向けヘッドセットまでどのようなVRヘッドセットにも組み込むことができます。

「MASK」のようなフェイストラッキング技術は他社からも生体センサーやカメラを用いた方法などが登場してきています。ソーシャルVRといった表情をアバターに伝えることが必須なアプリケーションでは重要な機能となるので今後の動向に注目です。

(参考)
MindMaze MASK- (英語)
https://www.mindmaze.com/mask/

この記事を書いた人

  • あつぽん

    日本でMRシステムの開発に携わった後アメリカへ渡り、VR/MRシステムを企業へ導入するための検討・開発に従事。現在は日本在住。

    人間の能力そのものを拡張させるテクノロジー「ヒューマンオーグメンテーション」のコンセプトに惹かれ、その界隈の動向に強い関心を持っています。その中で実用化フェーズにあるVR/MRの盛り上がりをより広い範囲へわかりやすく伝えていきたいと思っています。

    Twitter:@atupon

    Blog:http://nybiboroku.info/

  • Mogura VR編集部では、ライター・編集者を募集しています!