デイリーランキング

メタバースは「ほとんど国創り」。100億円投資を決めたグリー傘下・REALITYの挑戦

メタバース

2021/09/24 19:00

ARグラス用のコントローラー?フェイスブックの新たな特許が確認される

テック

2021/09/25 11:30

うつ病治療におけるVR活用の効果検証、ジョリーグッドと研究機関が進める

活用事例

2021/09/21 12:02

フェイスブック次期CTOは“VR/AR担当”のアンドリュー・ボズワース氏に

業界動向

2021/09/24 12:50

KDDIがメタバースプラットフォームを発表、VR/AR両対応の「Lynx R-1」クラファン間近か ー 週間振り返りVR/AR/MRニュース

業界動向

2021/09/21 08:00

MoguLive facebook twitter hatena line

XRの「いま」を掘りだすニュースメディア

MoguraVR

2D動画の3D化や精巧な合成技術……フェイスブックの研究成果公開

フェイスブックはブログにて、3Dコンテンツやオクルージョンに関する研究成果を公開しました。これは2020年6月16日から18日にかけ、米ワシントン州で開催されるカンファレンス「CVPR(Computer Vision and Pattern Recognition)」にて発表される予定のものです。

SynSin:様々な角度からのイメージを生成

「SynSin」は、1枚のRGB画像だけを用いて、その場面を他の角度から見たイメージを生成する技術です。3Dスキャンを使用せず、元の画像から空間の様子を推測、新しい画像を作り上げています。従来の技術に比して、多くの物が置かれた複雑なシーンでも扱えるというメリットがあります。360度動画や、3D写真の完成度を上げることが期待されます。

2D動画から3Dコンテンツへ

3Dイメージの生成には、もう1つの新たな技術があります。この技術では人物の2D動画から、表情や指先、服のひだまで細かな動きを読み取り、3D動画に変換します。


(左の女性の動画から、様々な角度から見た3Dコンテンツを生成)

ベースとなるのは、1枚の画像から人物の3Dオブジェクトを生成する「PIFu」の手法。これに、より高解像度(1K)のイメージを処理するネットワークを追加し、動く人物の3Dオブジェクトを作り出します。

オブジェクトは細部まで正確に再現されており、360度どの角度からも確認可能です。この手法を使えば、多数のカメラを用いる大型の撮影施設がなくても、リアルな3Dコンテンツを作成できるようになりそうです。

その場にいない人物を自然に合成

最後に紹介するのは、その場にいない人物を、1枚の写真からシーンに合成する技術です。元の写真とは異なるポーズを取らせることもでき、重なり部分も含め、新たな画像に違和感なく存在します。

この手法ではまず、合成する先の画像について、構成するデータを取得。次に、合成したい形で人物のデータを生成します。このデータに、その場にはいない人物の画像を取り込んで細部を補正し、違和感のない新しいイメージを作ります。
同技術を用いると、人の髪といったパーツや、衣服だけを取り替えることも可能だということです。


(実際に撮影された元の写真(左)から、合成する人物のデータ(右)を生成)


(人物のデータ(左)に、新しい人物の画像(右)を重ね、違和感のない新しい画像を生成)

リモートワークやオンラインイベントが進む今日、”同じ場所にいる”という自然なイメージを作り出すためにも役立つと言えます。

リサーチの全文や、その他CVPRで扱われるトピックスはこちら

(参考)Facebook AI Blog


【注目の記事】
・学びの場をゼロから考え直す。デジタルハリウッド大学が挑む「バーチャルキャンパス」を追え!

【注目の記事】
・学びの場をゼロから考え直す。デジタルハリウッド大学が挑む「バーチャルキャンパス」を追え!

配信画面はどう作る? デザイナー兼VTuberが解説

2020/06/16 19:00 VTuber 最新ニュース一覧

「バーチャルキャスト」がYouTube Liveと連携、コメントやスパチャを降らせる機能追加

2020/06/16 19:00 VTuber 最新ニュース一覧