デイリーランキング

Unityと現代自動車が提携、工場運営のデジタルツイン「メタファクトリー」の構築へ

業界動向

2022/01/17 12:00

2021年のVR/ARヘッドセット出荷は1,000万台に到達か、クアルコムがマイクロソフトと協業など ー 週間振り返りVR/AR/MRニュース

業界動向

2022/01/17 11:00

XR/メタバースの海外最新動向を語る「CES2022報告会」、1月19日にオンライン開催

セミナー

2022/01/13 17:00

世界中からメタバース関連の話題をお届け メタバース通信 vol.21

メタバース

2022/01/14 14:55

ビル・ゲイツ氏「2、3年以内にオンライン会議の大半がメタバースに移行」と予測

業界動向

2021/12/13 12:00

MoguLive facebook twitter hatena line

XRの「いま」を掘りだすニュースメディア

MoguraVR

PFNが指先の向きまで認識できる3D姿勢推定技術を開発、協業先を募集

2021年7月27日、Preferred Networks(プリファードネットワークス)は、身体の動きや指先の向きまで高精度に認識する3D姿勢推定技術の開発を発表しました。この技術はソフトバンクが開発する「SureTalk(シュアトーク)」に採用されており、他の領域への応用を目指し協業先を募集します。

深層学習・機械学習技術のPreferred Networks

2014年設立のPreferred Networksは、深層学習・機械学習の技術を活用し、幅広く課題解決に取り組んでいる企業です。

同社は2018年のコミックマーケット94にて、動画撮影した人物のモーションをトラッキングし2Dキャラクターに同じ動きを反映させる技術を展示。2019年には、姿勢推定技術を応用したサッカーに特化した戦術・分析支援アナリティクスツール「PitchBrain」を発表。今年3月には、現実の物体を3Dスキャナーで撮影することで高精細な3Dモデルを生成できるシステムを発表しています。

PFNが3DCG素材や2Dキャラクター生成システム開発、深層学習活用で | Mogura VR

PFNが3DCG素材や2Dキャラクター生成システム開発、深層学習活用で | Mogura VR

MoguraVR

手軽かつ高精度な3D姿勢推定技術

今回発表された3D姿勢推定技術は全身を総合的に認識することができ、スマートフォンなどで撮影した動画でも細部の動きまで高精度にトラッキングできるようになりました。専用カメラによる撮影や身体へのセンサー装着の必要がなく、これまで難しかった指先の向きや両手が重なる場面などでの誤検出が大幅に削減されています。

ソフトバンクのSureTalkに採用

この3D姿勢推定技術は、手話と音声をリアルタイムでテキストに変換するコミュニケーションシステム「SureTalk」に採用されています。同サービスでは、指の動きや手の重なりが非常に重要な手話の認識や、手話話者個人を特定しない手話アバター生成のために不可欠な基礎技術となっています。

https://www.youtube.com/watch?v=0kH3SbJSjuM

(上段左:3D姿勢推定技術による動作認識の結果、上段中央・右:認識結果から自動生成した手話アバター、下段:3次元座標にプロットした認識結果)

幅広い利用が期待できる3D姿勢推定技術

こうした高精度な3D姿勢推定技術は、これまでデジタル化が難しいとされていた楽器演奏やスポーツの解析、細かな手作業の技術継承、遠隔での診断やリハビリなどへの技術応用が期待できます。また、アバターアニメーション制作などの自動化を進めることも可能になります。この3D姿勢推定技術を開発するPreferred Networksは、現在、協業先を募集しています。

(参考)ニュースリリース


【注目の記事】
・XR/メタバースの海外最新動向を語る「CES2022報告会」がオンラインで無料開催、1月19日
・殴って殴って殴りまくるVRリズムアクション「Blast Beat」発売! 1月21日まで20%オフ

【ドラクエウォーク】あぶない水着イベント第2章が開幕! 新メガモンスター登場!

2021/07/30 11:30 ドラクエウォーク

「AR/VRデバイスを購入したい企業」フェイスブックよりもアップルが人気・米調査

2021/07/30 11:30 統計・データ