デイリーランキング

「Oculus Quest Pro」関連?最新ファームウェアに記述が発見される

テック

2021/09/15 12:33

シャオミがスマートグラス発表 バッテリー搭載でわずか51グラム

業界動向

2021/09/15 12:52

VRでの銃撃を感じる触覚デバイス「ForceTube」のモジュールが発売

テック

2021/09/14 19:30

災害発生から「デジタルツイン」活用へ現場はどう動いた?熱海土石流、分刻みの記録

活用事例

2021/09/15 19:30

難聴者向けに会話を字幕表示 大日本住友製薬とピクシーダストテクノロジーズがスマートグラス開発へ

業界動向

2021/09/15 17:11

MoguLive facebook twitter hatena line

XRの「いま」を掘りだすニュースメディア

MoguraVR

PFNが指先の向きまで認識できる3D姿勢推定技術を開発、協業先を募集

2021年7月27日、Preferred Networks(プリファードネットワークス)は、身体の動きや指先の向きまで高精度に認識する3D姿勢推定技術の開発を発表しました。この技術はソフトバンクが開発する「SureTalk(シュアトーク)」に採用されており、他の領域への応用を目指し協業先を募集します。

深層学習・機械学習技術のPreferred Networks

2014年設立のPreferred Networksは、深層学習・機械学習の技術を活用し、幅広く課題解決に取り組んでいる企業です。

同社は2018年のコミックマーケット94にて、動画撮影した人物のモーションをトラッキングし2Dキャラクターに同じ動きを反映させる技術を展示。2019年には、姿勢推定技術を応用したサッカーに特化した戦術・分析支援アナリティクスツール「PitchBrain」を発表。今年3月には、現実の物体を3Dスキャナーで撮影することで高精細な3Dモデルを生成できるシステムを発表しています。

PFNが3DCG素材や2Dキャラクター生成システム開発、深層学習活用で | Mogura VR

PFNが3DCG素材や2Dキャラクター生成システム開発、深層学習活用で | Mogura VR

MoguraVR

手軽かつ高精度な3D姿勢推定技術

今回発表された3D姿勢推定技術は全身を総合的に認識することができ、スマートフォンなどで撮影した動画でも細部の動きまで高精度にトラッキングできるようになりました。専用カメラによる撮影や身体へのセンサー装着の必要がなく、これまで難しかった指先の向きや両手が重なる場面などでの誤検出が大幅に削減されています。

ソフトバンクのSureTalkに採用

この3D姿勢推定技術は、手話と音声をリアルタイムでテキストに変換するコミュニケーションシステム「SureTalk」に採用されています。同サービスでは、指の動きや手の重なりが非常に重要な手話の認識や、手話話者個人を特定しない手話アバター生成のために不可欠な基礎技術となっています。

https://www.youtube.com/watch?v=0kH3SbJSjuM

(上段左:3D姿勢推定技術による動作認識の結果、上段中央・右:認識結果から自動生成した手話アバター、下段:3次元座標にプロットした認識結果)

幅広い利用が期待できる3D姿勢推定技術

こうした高精度な3D姿勢推定技術は、これまでデジタル化が難しいとされていた楽器演奏やスポーツの解析、細かな手作業の技術継承、遠隔での診断やリハビリなどへの技術応用が期待できます。また、アバターアニメーション制作などの自動化を進めることも可能になります。この3D姿勢推定技術を開発するPreferred Networksは、現在、協業先を募集しています。

(参考)ニュースリリース


【ドラクエウォーク】あぶない水着イベント第2章が開幕! 新メガモンスター登場!

2021/07/30 11:30 ドラクエウォーク

「AR/VRデバイスを購入したい企業」フェイスブックよりもアップルが人気・米調査

2021/07/30 11:30 統計・データ