MetaのReality Labsの研究チームは、バーチャル空間上のアバターの着せ替えシミュレーションに関する研究を公開しました。本研究は、写実的なアバターを自動生成する技術「Codec Avatars」と関連しており、同チームの研究成果の一つです。
アバターの着せ替えをよりリアルに
最新の研究「Dressing Avatars:Deep Photorealistic Appearance for Physically Simulated Clothing」では、写実的な3Dアバターにリアルな衣服を着用したアニメーションを生成する技術を紹介しています。バーチャルな衣服は、様々な体型のアバターでも着用可能であり、異なるアバター間での衣服の移動やサイズ変更もできるとのこと。
これまでも、映画等では本物と見間違えるほどリアルな衣服を着たアバターを、CGで作成することができました。しかし、このようなリアルなアバターを作り出すには長い処理時間がかかります。特にバーチャル空間上においては、リアルタイムで現実と遜色ないような服の形状と動きを実現するのは困難だとされています。
今回の研究では、衣服の動きをシミュレートし、機械学習を用いてリアルな衣服を着たアバターを実現しています。そのため、これまでより短時間でリアルに見える服を着たアバターを作り出せるとのことです。
ただし、Metaの既存VRヘッドセットやデバイスで実現するには、まだ長い道のりがあるようです。本手法は、NVIDIAの「RTX 3090」を使用、約13フレーム/秒で動作しており、したがって「リアルタイムで動作している」とは言い難いのが現状です。また「着物のようなゆったりとした大きなひだがある服や、十二単衣のような何枚も重ねた服には対応しにくい」とのこと。
フォトリアルなアバターを生成する「Codec Avatars」
「Codec Avatars」は、ヘッドマウントキャプチャーシステム（HMC）からの入力情報を用いて、リアルタイムに動作する、フォトリアル的なアバターを生成するためのMetaの研究プロジェクトです。HMCには、カメラや加速度センサー、ジャイロスコープ、磁気センサー、マイクが搭載されています。
Codec Avatarsの研究チームは写実的なアバターを生成するために、アイトラッキングとマイク入力のみで実現するバージョンや、よりリアルなアバターを生成する2.0バージョン（高画質版）、「FaceID」搭載のiPhoneシリーズのみで生成するバージョンなど、様々な新手法を公開してきました。
Codec Avatarsに関するニュースは、下記の記事でも取り上げています。
