Meta社は、自撮り写真から写実的なアバターを生成できる技術「大規模再構成モデル(large reconstruction model/LBM)」を発表しました。
今回発表された「LBM」は、Meta社とドイツのミュンヘン工科大学が「Avat3r」と呼ばれる論文を通じて発表しました。アバターの生成に必要なのは4枚の自撮り写真で、必要な生成時間は数分間のようです。
「LBM」は、大規模再構築モデル(LRM)の概念に基づいており、大規模言語モデル(LLM)と近い形で、ビジョン変換器(ViT)を使ってデータを処理します。「ViT」は、ナイアンティックの3Dスキャンアプリ「Scaniverse」のガウス・スプラッティングなどに似た、3Dガウスのセットを予測するために使用されます。
Meta社は、2019年頃から写実的なデザインのアバター研究を進めていましたが、現状リアル調のデザインを実現するためには、高価なキャプチャー機器が必須です。スマートフォンでスキャンする技術の開発も行っているものの、(現時点では)3分以上かけて65種類の表情を作る必要があり、データ自体の処理にも数時間が必要となっています。
「LBM」は、自分の姿を数分間の作業でアバターとして生成可能になるという、アバター方面のほか、VRヘッドセットの入力(利用者の表情認識)に活用されることが期待されます。
(参考)UploadVR
Mogura VRはUploadVRのパートナーメディアです。

