ARで現実とアニメが融合!? iPhone Xのカメラで

iPhoneの新モデル「iPhone X」。このスマートフォンのフロントカメラには3D顔認識センサーが搭載されており、自分の表情を2Dのキャラクター(アバター)に反映させる機能などがあります。

今回、そんなiPhone Xの機能を活用した動画が公開され、話題になっています。

動画を見てみると、人の動きに合わせてアニメキャラクターの顔も動き、目のまばたきや口の動きなども連動しているように見えます。これは一体……?

こちらのアプリを開発したのは、株式会社ViRDの「のしぷ(@noshipu)氏」。同氏によると、iPhone Xのカメラから取得した表情データを『Live2D Euclid』(※)のキャラクターに反映させて表現しているとのことです。

(※)『Live2D Euclid』:2Dで描かれたキャラクターイラストなどを組み合わせ、3D表現を可能にするソフト。VRコンテンツにも対応。


対象者の目と口の開閉に連動

ゲームエンジン「Unity」のAR向けプラグインとiPhoneのAR機能「ARKit」を利用することで、顔の表情のトラッキングが可能となりました。同氏はそこで、人間の表情を使ったコンテンツを作れないかと考え、普通の3Dモデルよりも表情豊かな表現ができる『Live2D Euclid』を使用したとのことです。

カメラから自分の顔をトラッキングして2Dキャラに反映させる技術は、これまでにも『FaceRig』などがありました。本アプリではFaceRigのような完全なバーチャルではなく、実際の顔の位置にアニメキャラクターを反映させています。そのため、顔から下は現実といった、バーチャルと現実が合わさったユニークなものとなっています。

のしぷ氏は「表情の反映が口の開閉と目の開閉の2つだけのプロトタイプの状態で、これだけ反響があって驚いています」とコメントし、また今後の展開について「顔はヴァーチャルなキャラクターで、それ以外はリアルという状態自体が面白いので、AR動画の配信に取り組んでいきたいです」と述べています。

Mogura VR編集部では、ライター・編集者を募集しています!

関連するキーワード: ARKitiPhone ARiPhone XLive2D Euclid

この記事を書いた人

  • ゲーム紹介メディア「もぐらゲームス」でライターをしています。Mogura VRではライティングなどを担当しつつ、VRの魅力を伝えられればと思います。

    Twitter:@MD5ch_com