Metaが研究を進めるフォトリアルなアバター生成について、新たな成果が発表されました。iPhoneのようなスマートフォン1台でのスキャンで、100台以上のカメラシステムを用いた手法に匹敵するレベルのアバターを作成する技術です。
171台のカメラからiPhone1台へ
Metaの研究は古くは2019年3月、Facebook Reality Labsの時代から公表されてきました。これは「VR内で本人そっくりのアバターをリアルタイムに動かす」という内容で、アバター作成には171台もの高解像度カメラを使った撮影が必要でした。
しかし今回発表した技術では、フロントカメラにデプスセンサーを搭載したスマートフォン（例えばFaceID機能を持つiPhoneなど）1台でスキャンが完了します。最初に無表情で、続いて指定された65の表情で撮影を行います。このスキャン・撮影自体の所要時間は平均で約3分半とされています。ただし、このデータをもとに実際にアバターを生成するには、4つのハイエンドGPUを搭載したマシンで6時間を要します。
実用化の可能性は？
今回の撮影の簡易化は、どのようにして実現したのでしょうか？ Metaによると、あらかじめ90台のカメラを用いて、255名の異なる人物の顔のスキャニングを実施。このスキャンデータをもとに、ニューラルネットワークの学習を行います。これをスマートフォンでのスキャンデータと組み合わせることで、従来の大規模な撮影システムを用いた際に匹敵するフォトリアルなアバター生成が可能になるとのこと。
現時点ではメガネやロングヘアといった器具・髪型等には対応しておらず、対象も頭部のみといった限界はあります。実用化までには、相当の時間を要するでしょう。
Metaが既存のサービスで提供しているアバターはいずれもシンプルなアニメ調のもので、「Meta Quest 2」のようなデバイスでも使える点を重視しているように見えます。将来的にフォトリアルなアバターへと移行させるのではなく、かつてCEOのマーク・ザッカーバーグ氏が語ったように、「デフォルメしたアバターはゲームで、リアルなアバターは業務のミーティングで」といった使い分けを検討している可能性もありえるでしょう。
（参考）UploadVR
Mogura VRはUploadVRのパートナーメディアです。
