リクルートと東北大学医工学研究科が共同で、AI学習と爪に装着するデバイス「ネイルコンダクター」の研究結果を発表。「指先の動きで演奏する」イメージ動画を公開しています。
今回公開された動画では、AIの演奏学習モデルを元に、楽器が無くても野菜や果物で演奏する模様が撮影されています。
AIモデル生成では、演奏する指の動き（血流の変化）をネイルコンダクターで取得し、 「たたく」、「ねじる」、「なぞる」の3つのアクション時の血流変化をAIが学習しているとのこと。それらのアクションを野菜、果物に対して行うことで、遠隔で電子楽器の演奏が可能となっています。
今回の研究は、楽器演奏だけではなく、生成したモデルを利用することで、指の所作・ジェスチャーを検知し、デバイスに触らなくても操作が可能になるそうです。
将来的には何もない空間でも、指の動作で入力操作などができるようになり、「VR空間内で物をつかむ、操作する、キー入力の操作支援を行う」「暗所で手話通訳や文字認識をすることで、コミュニケーションの可能性を広げる」「遠隔手術に活用することで、医師不足や医療格差の問題に貢献する」「メタバース向けの仮想／拡張空間内コントローラーとして利用する」などに活用される可能性があるとのこと。
研究の具体的な発表内容はこちら。
