デイリーランキング

ナイアンティックは、ついに「ポケモンGO」にARマップを導入。“惑星規模のAR”に一歩

業界動向

2020/05/27 17:33

コントローラー不要の一体型VRヘッドセット「Mova」登場、HTC前CEO設立の企業から

業界動向

2020/05/27 12:15

“中国のNetflix”が一体型VRヘッドセットを発売。4K対応で約6万円

業界動向

2020/05/28 11:30

コロナでVRユーザー“急増”か、Oculus Questのハンドトラッキングが正式リリース ー 週間振り返りVR/AR/MRニュース

業界動向

2020/05/25 08:00

クアルコムが「XRビューアー」の提供計画を発表。NTTドコモやKDDI、パナソニックも参画

業界動向

2020/05/27 19:00

MoguLive facebook twitter hatena line

VRの「いま」を掘りだすニュースメディア

MoguraVR

動画から人の3D身体表面モデル生成 フェイスブックがオープンソースで公開

フェイスブックの開発者チームは、画像処理システム「DensePose」をGitHubで公開しました。2Dの動画から人体の姿勢などを読み取り、3D身体表面モデルを生成するシステムです。

https://www.youtube.com/watch?v=Dhkd_bAwwMc

2段階のステップで立体画像を取得

これまで2Dの画像から立体的な人の体のイメージを得るには、マニュアルで変換を行う必要がありました。単純化すると、対象となる人を回転させてその表面のデータを取得しなければなりません。しかしこれはとても非効率的です。今回フェイスブックが開発したシステム「DensePose」は、2段階のステップで2D画像から立体的な動画を生成します。

まず、体のパーツとして意味を持つ部分ごとに、対象を分割します。衣服に隠れた部分も推測できるようにしているため、体を隠すような服を身につけていても、この後の処理は複雑になりません。

次に、先ほど分割したそれぞれの部分とおおよそ同じ距離にある点を集め、3Dモデルの表面に対応させます。この工程をシンプルにするために、あらかじめ体のイメージをとらえる視点を6か所決めておきます。アノテーターはこの6か所から最適な視点を選び、画像データを取得します。

体を細分化し、3Dへ変換

この2段階のアノテーションにより、非常に正確かつ効率的にデータを取得することができます。第1段階のパーツ分けと、第2段階の3D身体表面モデルへの対応は、おおよそ同程度に短い時間で処理が可能です。第2段階がより複雑であることを考慮すると、驚くべき結果です。
フェイスブックは5万人の人から、500万以上の画像を得ました。下の図は、左から元の2D画像、視点の違う2つの3D身体表面モデルを撮影した画像となっています。

このように2Dイメージの体をパーツに細分化し、詳細な3D画像を生成します。全てのピクセル(画像の最小単位)について、「体のどの部分に属しているか」「2Dイメージのどの部分に対応しているか」を確認していくのです。

DensePoseのシステムは、深層学習をベースとしたアプローチにより構築されました。また、このシステム「DensePose」は、320×240サイズの画像でフレームレート25fps、800×1100サイズの画像で4~5fpsで動作すると推定されています。

フェイスブックは今後さらにパーツ分けの速度を上げるなど、システムの改善を図るとしています。

(参考)Facebook Open Source(Twitter)‏DensePose



【Mogura主催のイベント】
・コロナ禍でVR×エンタメはどうなる? 業界キーパーソンが語る (5/29)


【Mogura主催のイベント】
・コロナ禍でVR×エンタメはどうなる? 業界キーパーソンが語る (5/29)


VR/ARで外科手術を補助 イスラエル企業が1,150万ドル調達

2018/06/20 11:33 投資

Magic Leapとニュージーランド航空が提携 “新しい旅行体験”

2018/06/20 11:33 業界動向