iPhoneの新モデル「iPhone X」。このスマートフォンのフロントカメラには3D顔認識センサーが搭載されており、自分の表情を2Dのキャラクター（アバター）に反映させる機能などがあります。
今回、そんなiPhone Xの機能を活用した動画が公開され、話題になっています。
iPhoneX使ってLive2Dを動かしてみた。これ楽しすぎ！ pic.twitter.com/RzWLiUKtQl
— のしぷ (@noshipu) 2017年11月9日
動画を見てみると、人の動きに合わせてアニメキャラクターの顔も動き、目のまばたきや口の動きなども連動しているように見えます。これは一体……？
こちらのアプリを開発したのは、株式会社ViRDの「のしぷ（@noshipu）氏」。同氏によると、iPhone Xのカメラから取得した表情データを『Live2D Euclid』（※）のキャラクターに反映させて表現しているとのことです。
（※）『Live2D Euclid』：2Dで描かれたキャラクターイラストなどを組み合わせ、3D表現を可能にするソフト。VRコンテンツにも対応。
対象者の目と口の開閉に連動
ゲームエンジン「Unity」のAR向けプラグインとiPhoneのAR機能「ARKit」を利用することで、顔の表情のトラッキングが可能となりました。同氏はそこで、人間の表情を使ったコンテンツを作れないかと考え、普通の3Dモデルよりも表情豊かな表現ができる『Live2D Euclid』を使用したとのことです。
カメラから自分の顔をトラッキングして2Dキャラに反映させる技術は、これまでにも『FaceRig』などがありました。本アプリではFaceRigのような完全なバーチャルではなく、実際の顔の位置にアニメキャラクターを反映させています。そのため、顔から下は現実といった、バーチャルと現実が合わさったユニークなものとなっています。
のしぷ氏は「表情の反映が口の開閉と目の開閉の2つだけのプロトタイプの状態で、これだけ反響があって驚いています」とコメントし、また今後の展開について「顔はヴァーチャルなキャラクターで、それ以外はリアルという状態自体が面白いので、AR動画の配信に取り組んでいきたいです」と述べています。
