デイリーランキング

立体的に覗き込める「デジタル水槽」、環境省の施設に導入 「Looking Glass」を活用

活用事例

2020/07/13 19:05

Magic Leapの新CEOは現マイクロソフト役員、 SteamのVRデバイス利用状況調査が公開 ー 週間振り返りVR/AR/MRニュース

業界動向

2020/07/13 08:00

ARグラス関連か? アップルのサプライヤーが「半透過型レンズ」試作中

業界動向

2020/07/13 11:30

VRフィットネス「BOXVR」開発元が750万ドル調達 新製品開発を加速

投資

2020/07/13 12:00

【最新版】VRってなに? 仕組みや活用事例も含め徹底解説

業界動向

2020/07/12 19:00

MoguLive facebook twitter hatena line

VRの「いま」を掘りだすニュースメディア

MoguraVR

2D動画の3D化や精巧な合成技術……フェイスブックの研究成果公開

フェイスブックはブログにて、3Dコンテンツやオクルージョンに関する研究成果を公開しました。これは2020年6月16日から18日にかけ、米ワシントン州で開催されるカンファレンス「CVPR(Computer Vision and Pattern Recognition)」にて発表される予定のものです。

SynSin:様々な角度からのイメージを生成

「SynSin」は、1枚のRGB画像だけを用いて、その場面を他の角度から見たイメージを生成する技術です。3Dスキャンを使用せず、元の画像から空間の様子を推測、新しい画像を作り上げています。従来の技術に比して、多くの物が置かれた複雑なシーンでも扱えるというメリットがあります。360度動画や、3D写真の完成度を上げることが期待されます。

2D動画から3Dコンテンツへ

3Dイメージの生成には、もう1つの新たな技術があります。この技術では人物の2D動画から、表情や指先、服のひだまで細かな動きを読み取り、3D動画に変換します。


(左の女性の動画から、様々な角度から見た3Dコンテンツを生成)

ベースとなるのは、1枚の画像から人物の3Dオブジェクトを生成する「PIFu」の手法。これに、より高解像度(1K)のイメージを処理するネットワークを追加し、動く人物の3Dオブジェクトを作り出します。

オブジェクトは細部まで正確に再現されており、360度どの角度からも確認可能です。この手法を使えば、多数のカメラを用いる大型の撮影施設がなくても、リアルな3Dコンテンツを作成できるようになりそうです。

その場にいない人物を自然に合成

最後に紹介するのは、その場にいない人物を、1枚の写真からシーンに合成する技術です。元の写真とは異なるポーズを取らせることもでき、重なり部分も含め、新たな画像に違和感なく存在します。

この手法ではまず、合成する先の画像について、構成するデータを取得。次に、合成したい形で人物のデータを生成します。このデータに、その場にはいない人物の画像を取り込んで細部を補正し、違和感のない新しいイメージを作ります。
同技術を用いると、人の髪といったパーツや、衣服だけを取り替えることも可能だということです。


(実際に撮影された元の写真(左)から、合成する人物のデータ(右)を生成)


(人物のデータ(左)に、新しい人物の画像(右)を重ね、違和感のない新しい画像を生成)

リモートワークやオンラインイベントが進む今日、”同じ場所にいる”という自然なイメージを作り出すためにも役立つと言えます。

リサーチの全文や、その他CVPRで扱われるトピックスはこちら

(参考)Facebook AI Blog


配信画面はどう作る? デザイナー兼VTuberが解説

2020/06/16 19:00 VTuber 最新ニュース一覧

「バーチャルキャスト」がYouTube Liveと連携、コメントやスパチャを降らせる機能追加

2020/06/16 19:00 VTuber 最新ニュース一覧