フェイスブックはブログにて、3Dコンテンツやオクルージョンに関する研究成果を公開しました。これは2020年6月16日から18日にかけ、米ワシントン州で開催されるカンファレンス「CVPR（Computer Vision and Pattern Recognition）」にて発表される予定のものです。
SynSin：様々な角度からのイメージを生成
「SynSin」は、1枚のRGB画像だけを用いて、その場面を他の角度から見たイメージを生成する技術です。3Dスキャンを使用せず、元の画像から空間の様子を推測、新しい画像を作り上げています。従来の技術に比して、多くの物が置かれた複雑なシーンでも扱えるというメリットがあります。360度動画や、3D写真の完成度を上げることが期待されます。
2D動画から3Dコンテンツへ
3Dイメージの生成には、もう1つの新たな技術があります。この技術では人物の2D動画から、表情や指先、服のひだまで細かな動きを読み取り、3D動画に変換します。
（左の女性の動画から、様々な角度から見た3Dコンテンツを生成）
ベースとなるのは、1枚の画像から人物の3Dオブジェクトを生成する「PIFu」の手法。これに、より高解像度（1K）のイメージを処理するネットワークを追加し、動く人物の3Dオブジェクトを作り出します。
オブジェクトは細部まで正確に再現されており、360度どの角度からも確認可能です。この手法を使えば、多数のカメラを用いる大型の撮影施設がなくても、リアルな3Dコンテンツを作成できるようになりそうです。
その場にいない人物を自然に合成
最後に紹介するのは、その場にいない人物を、1枚の写真からシーンに合成する技術です。元の写真とは異なるポーズを取らせることもでき、重なり部分も含め、新たな画像に違和感なく存在します。
この手法ではまず、合成する先の画像について、構成するデータを取得。次に、合成したい形で人物のデータを生成します。このデータに、その場にはいない人物の画像を取り込んで細部を補正し、違和感のない新しいイメージを作ります。
同技術を用いると、人の髪といったパーツや、衣服だけを取り替えることも可能だということです。
（実際に撮影された元の写真（左）から、合成する人物のデータ（右）を生成）
（人物のデータ（左）に、新しい人物の画像（右）を重ね、違和感のない新しい画像を生成）
リモートワークやオンラインイベントが進む今日、”同じ場所にいる”という自然なイメージを作り出すためにも役立つと言えます。
リサーチの全文や、その他CVPRで扱われるトピックスはこちら。
（参考）Facebook AI Blog
