9月16日、Metaは公式ブログでカナダのスタートアップ「smartARM」の取り組みを公開しました。同社はトロントを拠点に、カメラの視覚情報を軸としたAI義手のプロトタイプを開発しています。ソフトウェアはオープンソースで、スマートグラスのMeta AI Glassesを任意の追加機器として組み合わせられます。
従来の義手の多くは、物体に応じて握り方を手動で切り替える必要がありました。グラスを持ち上げてから、次にスプーンを取る動作も複数の手順を踏みます。そこで、smartARMは周囲の環境を認識するハードウェアとソフトウェアを開発。これにより、物体に適した握り方を自動で選べるため、利用者は日常の作業をそのまま続けられます。
義手は手のひらに内蔵したカメラで対象を捉えます。物体の認識に使うのは、Metaのオープンソースの画像認識モデル「DINOv2」です。数枚の参考写真から日用品を判別し、握り方を選ぶソフトウェアを補助します。事前の知識や追加のプログラミングは不要です。数枚の写真で学習させた物体には、ほぼ即座に対応します。従来は数週間かかっていた作業でした。
さらにsmartARMは、Meta AI GlassesとMeta Wearables Device Access Toolkitを併用しています。グラスの一人称視点から得られるデータが加わり、利用者が何に触れようとしているのかを義手が把握しやすくなります。スマートフォンのアプリからは、利用者自身が新しい物体を追加できます。
利用者である元NFL選手のシャキーム・グリフィン氏は、搭載された技術のなかでも拡張性と使いやすさが自身には最も重要で、これが消費者向け義手の未来だと述べました。創業者兼CEOのハマヤル・チョードリー氏は、優れた手を作るのは課題の一部にすぎず、直感的に使える点も同じく重要だと語っています。
（※Meta Wearables Device Access Toolkitとは、Metaのウェアラブル機器の機能を外部の開発者が利用するための開発キットです）
