Home » まるで人間 精巧なCGで表情の動きを描画


活用事例 2017.08.03

まるで人間 精巧なCGで表情の動きを描画

ロサンゼルスにて開催されているコンピューターグラフィックスのカンファレンス、SIGRAPPH 2017において、人間の顔や表情の動きをリアルタイムでレンダリングする技術が登場、この技術を活かした『MEETMIKE』というプロジェクトが展示されました。VRでもアバターなどの表情がより精緻に表現されることで、現実のような人間らしさが生まれ違和感のないコミュニケーションに近づきます。

『MEETMIKE』とは

この技術デモは人物をリアルタイムでレンダリングして3DCGデータに変換し、バーチャル空間内で表示することを可能にするものです。『MEETMIKE』ではグラフィック技術レポーターであるMike Seymour氏の表情をリアルタイムでレンダリングして、映像をVRで表示しました。

CGによって再現されたたSeymour氏はバーチャル空間の中で様々な業界のベテランや研究者にインタビューを行い、参加者はヘッドセットを着けて、バーチャル空間内でのやり取りを鑑賞できます。

Seymour氏の様子はUnreal Engineを用いてレンダリングし、90FPSという高フレームレートによって、生身の人間と区別がつかないほどのリアルな映像を生成しています。上掲のYouTube動画では、彼の眉毛やまつ毛、皮膚の毛穴までもを、細部に至るまで正確に再現している様子が見てとれます。

この映像を生成するにあたって、シーモア氏はTechnoprops社のステレオカメラを装着して表情を撮影し、Cubic Motion社の技術によって表情の動きをトラッキングしています。3Lateral社の技術でフェイシャルリグを作成し、Wikihumanプロジェクトで作成した彼のスキャンデータを用いて映像を作成しています。このプロジェクトでは深層学習を用いたAIエンジンも使用しており、開発にはEpic Gamesなどの企業や研究機関、大学など様々な団体が参加しています。

SIGRAPPH 2017ではこの他にも今後のVRに大きな進化をもたらし得る技術が展示され、NVIDIAリサーチが開発したVRに立体感をもたらす技術デモでは、ホログラムや変形可能なディスプレイを用いて、バーチャル空間内のオブジェクトが実際にそこにあるかのように表示する技術を提示しました。立体感のある映像や、リアルで精巧なレンダリング技術の登場によって、これからのVRの発展に大きく注目できます。

(参考)
Road to VR / Researchers Showcase Impressive New Bar for Real-time Digital Human Rendering in VR(英語)
https://www.roadtovr.com/siggraph-2017-meetmike-sets-impressive-new-bar-for-real-time-virtual-human-visuals-in-vr/

Mogura VRはRoad to VRのパートナーメディアです。


VR/AR/VTuber専門メディア「Mogura」が今注目するキーワード