2021年7月27日、Preferred Networks（プリファードネットワークス）は、身体の動きや指先の向きまで高精度に認識する3D姿勢推定技術の開発を発表しました。この技術はソフトバンクが開発する「SureTalk（シュアトーク）」に採用されており、他の領域への応用を目指し協業先を募集します。
深層学習・機械学習技術のPreferred Networks
2014年設立のPreferred Networksは、深層学習・機械学習の技術を活用し、幅広く課題解決に取り組んでいる企業です。
同社は2018年のコミックマーケット94にて、動画撮影した人物のモーションをトラッキングし2Dキャラクターに同じ動きを反映させる技術を展示。2019年には、姿勢推定技術を応用したサッカーに特化した戦術・分析支援アナリティクスツール「PitchBrain」を発表。今年3月には、現実の物体を3Dスキャナーで撮影することで高精細な3Dモデルを生成できるシステムを発表しています。
手軽かつ高精度な3D姿勢推定技術
今回発表された3D姿勢推定技術は全身を総合的に認識することができ、スマートフォンなどで撮影した動画でも細部の動きまで高精度にトラッキングできるようになりました。専用カメラによる撮影や身体へのセンサー装着の必要がなく、これまで難しかった指先の向きや両手が重なる場面などでの誤検出が大幅に削減されています。
ソフトバンクのSureTalkに採用
この3D姿勢推定技術は、手話と音声をリアルタイムでテキストに変換するコミュニケーションシステム「SureTalk」に採用されています。同サービスでは、指の動きや手の重なりが非常に重要な手話の認識や、手話話者個人を特定しない手話アバター生成のために不可欠な基礎技術となっています。
（上段左：3D姿勢推定技術による動作認識の結果、上段中央・右：認識結果から自動生成した手話アバター、下段：3次元座標にプロットした認識結果）
幅広い利用が期待できる3D姿勢推定技術
こうした高精度な3D姿勢推定技術は、これまでデジタル化が難しいとされていた楽器演奏やスポーツの解析、細かな手作業の技術継承、遠隔での診断やリハビリなどへの技術応用が期待できます。また、アバターアニメーション制作などの自動化を進めることも可能になります。この3D姿勢推定技術を開発するPreferred Networksは、現在、協業先を募集しています。
（参考）ニュースリリース
