デイリーランキング

ARをどう操作する?“指で挟む”コントローラーが登場

テック

2019/12/08 12:30

OculusのVR造形ツール「Medium」Adobeファミリーへ

業界動向

2019/12/08 11:30

超高解像VR/ARヘッドセット「XR-1」、開発版が国内販売開始

業界動向

2019/12/06 19:32

ハンドトラッキング搭載の超高解像度VRデバイス「VR-2 Pro」国内販売開始

業界動向

2019/12/06 18:30

【体験レポ・解説】QuestとPCを繋ぐ「Oculus Link」驚くほど違和感なし

Oculus Quest

2019/09/30 11:30

MoguLive facebook twitter hatena line

VRの「いま」を掘りだすニュースメディア

MoguraVR

スマホでモーションキャプチャ フェイスブックが開発中

フェイスブックは、人間の全身を対象とするモバイル向けARアプリケーションの開発に取り組んでいることを明らかにしています。スマートフォンなどのカメラを使って、手軽に全身のモーションキャプチャをしてアバターなどに変えて表示することができるようになる可能性があります。

現在、リアルタイムの顔トラッカーを使用することでカメラ機能を使って顔にメイクを追加したり、アバターに置き換えることができます。モーションキャプチャにより、自分の全身をアバターに置き換えることができるようになるとFacebook社のブログで公開しています。

困難なモーションキャプチャを容易に

身体全体をアバターと置き換えるには、体の動きをリアルタイムで正確に検出し、追従させる必要があります。身体の動きを検出するためには、ポーズや個人差によって大きく変わり、追従が非常に困難です。

PCとモーションキャプチャデバイスを組み合わせる方法が現在は主流です。また、スマートフォンでモーションキャプチャを実現する技術には、「Notch」が登場しています。Notchが提供する技術は身体にセンサーを取り付けてのモーションキャプチャですが、フェイスブックが開発中の技術はスマートフォンのカメラのみを使い、画像処理でモーションキャプチャを行う点が大きく異なります。

スマホで手軽にモーションキャプチャーできるデバイス「Notch」

スマホで手軽にモーションキャプチャーできるデバイス「Notch」

MoguraVR

たとえば、対象者が座ったり、歩いたり、走っている可能性や長いコートを着ている可能性もあり、こういった要因が身体を追従するシステムを困難にしています。

フェイスブックのブログによると、体のポーズを正確に検出し、人を追従する新しい技術を開発したとしています。現在、研究段階ですが、数メガバイトの容量となっており、リアルタイムにスマートフォンで実行することができるとのこと。

Mask R-CNN2Goを使用した検出

今回の身体の検出には、深層学習アルゴリズムMask R-CNNを改良したMask R-CNN2Goを使用しているとのことです。このMask R-CNNは、セマンティックセグメンテーション(画像の中のオブジェクトを個別に検出する)分野で現在、最も注目されているアルゴリズムです。

Mask R-CNN2Goは次の5つの要素で構成されています。

  1. Trunk model:複数の畳み込み層を含み、入力画像から特徴点を抽出します。
  2. Region proposal network(RPN):事前に定義されたスケールとアスペクト比での候補がないかを出力します。ROI-Align層に、出力した各バウンディングボックスから特徴を抽出し、Detection headに渡します。
  3. Detection head :畳み込み層、プーリング層、全結合層から成っています。候補となったバウンディングボックス事にオブジェクトが人であるかどうかを判別するほか、バウンディングボックスの座標を精細化し、画像内の各人物の境界を設定します。
  4. Key point head:各人物の境界と2つめのROI-Align層を使用し、特徴を抽出します。抽出した特徴はSegmentation headに送られます。
  5. Segmentation head:抽出した特徴から、最終座標を生成するために使用されます。
    • モバイルデバイス向けに軽量化されたモデル

      深層学習を用いたリアルタイム処理には通常、高い計算能力を持つGPUが必要となりますが、モバイルデバイスの計算能力や容量は限られたものとなっています。基となったMask R-CNNはResidual Network(ResNet)と呼ばれる、最大1000層以上の深いニューラルネットワークを使用しており、これはモバイルデバイスで使用するにはとても遅くなってしまいます。モバイルデバイス用のコンピュータービジョンモデルを開発することは非常に困難です。必要メモリが少なく、高速で、正確である必要があります。

      そこでFacebook AIカメラチームが開発したのは、「モバイルデバイス向けに最適化された非常に効率的なモデル」とのこと。今後も効率的なモデルなどを探求し続けると述べており、バッテリーと、計算能力の両方を併せ持つモデルについて検討していくとのことです。

      (参考)
      Enabling full body AR with Mask R-CNN2Go/facebook research(英語)

      Enabling full body AR with Mask R-CNN2Go

      Facebook Research

      Facebook Preparing New Wave of Full Body AR Camera Lenses/VRSCOUT(英語)

      After Copying Snapchat, Facebook is Preparing a New Wave of AR Camera Lenses

      VRScout



【Mogura VR 主催のイベント】
・【申込は12月9日まで】比べてわかる、試してわかるVR/ARデバイス・モーキャプ体験会 @東京

【Sponsored Post】
・藤井直敬の「現実を科学する」 第三回:“新しい現実”と向き合うには?
・「直感×アルゴリズム♪」が5Gで見せた世界とは?
・さながら“どこでもドア”? KDDIが「かぶらないVR」に取り組むワケ
・今までにない価値を作り続けたい――異色のテック×クリエイティブ集団の仕掛け人に訊く

インテルが今年中にARグラス市場に参入の噂 ブルームバーグが報道

2018/02/04 19:30 活用事例

日本国内のVRニュース、イベント情報ピックアップ #97

2018/02/04 19:30 活用事例

「Insta360 Pro 体験説明会」 Advertisement

VR/AR/MR 用語集