カメラによる画像認識機能を活用し、「全身を動かしてキーボード入力するソフト」を作ったYouTuberが注目を集めています。
“全身キーボード”を作ったのは、YouTubeチャンネル「Everything Is Hacked」で活動するFletcher Heislerさん。コンピュータービジョンによってHeislerさんの動きを認識させ、アルファベットと数字、記号の入力を可能にしたそうです。
Heislerさんは目標として、1分間に30文字を全身キーボードで入力することを目指して練習をスタート。公開された動画からは練習や、身体を使ったキーボード入力を通して、徐々に動きが良くなっていく様子を見ることができます。
当初は、身体でアルファベットの形を再現する入力形式が試みられましたが、一部の文字（H、Oなど）の再現が難しかったことから、最終的に手旗信号の動きが取り入れられました。
直立時に拳を握ると小文字のアルファベット、手を開くと大文字のアルファベットを入力。スクワット状態で拳を握ると数字、手を開くと記号が入力される仕組みになっているとのこと。CTRLやCMDなど一部のキーは、“特殊ポーズ”を使用します。
手旗信号式の入力は機能しましたが、動きを覚えることが難しかったことから、 Heislerさんは、知っている楽曲の歌詞に合わせてポーズすることで、各“身体文字”を覚える手法を取り入れました。同じ文字を繰り返す際はジャンプする、という仕組みを導入したところ、実際のミュージックビデオの動きに近くなるという一幕もあったそうです。
なお、矢印キーなどの入力も可能にした結果、一部のゲームの操作も可能になったとHeislerさんは説明しています。Heislerさんは、この成果を活かして、パンチやキックなどの動作を認識する（仮想）コントローラーを作ることを計画しているとのことです。
