Metaは、フォトリアルなアバター生成技術の開発に向けた新プロジェクト「Project Warhol」を進めていることを明らかにしました。本プロジェクトでは、人間の表情や音声、ジェスチャーなどの動作データを収集するため、参加者に時給50ドルを支払って協力を募っています。
Metaは約10年にわたり、フォトリアルなアバター生成に関して研究を行ってきました。同社が「Codec Avatars（コーデック・アバター）」と名づけるアバター技術の研究開発プロジェクトは、VRヘッドセットによるトラッキングを活用して、リアルタイムに動作する写実的なアバターを実現するものです。物理的にそこにいなくても、まるで本当に一緒にいるかのような感覚への到達を目指しています。
Metaは、2025年3月には4枚の自撮り写真からアバターを生成できる「LBM（Large Reconstruction Model）」を発表しました。LBMはビジョン変換器（ViT）というAIモデルと、3Dガウシアンスプラッティングに似た手法を組み合わせることで、4枚の自撮りから数分でリアルな3Dアバターを生成できます。
「Project Warhol」は、米Business Insiderの報道を通じて明らかになったもので、Metaもこのプロジェクトの存在と目的を公式に認めています。Metaによると、本プロジェクトはVR環境のアバター改善を目指しており、Codec Avatarsのトレーニングに必要な多様な動作データの収集が目的とされています。
データ収集はAIデータセット企業Appenを通じて行われ、米国ペンシルベニア州ピッツバーグの専用施設で実施されています。参加者は、表情の模倣、文章の読み上げ、手のジェスチャー、視線追跡、全身の可動域エクササイズなど、様々なタスクを録画セッションで実行します。
収集されたデータは、既存のカメラ多数による高精度アバターと、スマートフォンなどの簡易スキャン技術との間にある品質差の縮小を目指して活用される予定です。
コーデック・アバターは初めて世に発表されたときから数年が経ちますが、まだ本実装はされていません。2024年初頭には、Quest用のHorizon OSのコード内にCodec Avatarsの記述が発見されており、導入を目指していることが窺えます。ただし、完全なVR向けアバターには顔認識機能付きのヘッドセットが必要とされ、実現はMeta Quest 3の次世代機以降での実装になると推測されます。
（参考）UploadVR
Mogura VRはUploadVRのパートナーメディアです。
