カメラでピアノを検出、“ARピアニスト”が演奏してくれるアプリが開発中

シリア出身の医師でソフトウェア関連の起業家でもあるFayez Salka氏は、自身のTwitterで“ARピアニスト”がピアノを演奏してくれるアプリ「AR Pianist」を公開しました。機械学習を活用し、カメラがピアノを検知すると、ピアニストが出現。ARでピアノを弾いてくれる、というものです。

「AR Pianist」は機最高1cm単位の精度で3D空間内でのピアノの位置と向きを算出します。公開された映像からは、ピアニストとARエフェクトのピアノが、現実に存在するピアノとほぼ同じ位置で表示され、演奏される様子が確認できます。Salka氏によれば、このAR表示は「アプリがピアノを1フレーム認識するだけで表示可能で、3Dカメラも不要」とのこと。

Our latest app, AR Pianist, uses machine learning to superimpose a virtual pianist on your piano. It works with any piano and features a library of songs performed by award winning pianists. #ar #arkit #ai #ios #vr #coreml #app #piano #apple #music #education #augementedreality pic.twitter.com/a7W7KYvoiP

— Fayez Salka (@fayezsalka) December 2, 2019

現時点では未リリース

2020年1月28日現在、「AR Pianist」は本リリースには至っておらず、開発が進められています。同アプリの開発はSalka氏と、同氏が創業したMassive Technologies Incの共同創業者Anas Wattar氏が行っています。

「AR Pianist」はスマートフォンかARヘッドセット上での使用を想定。正式バージョンには、スマートフォンのマイクから使用者の演奏を認識し、機械学習によってフィードバックと始動を行う機能を実装予定です。

関係者のコメント

「AR Pianist」についてSalka氏は、米メディアVRScoutのインタビューに答える形で以下のようにコメントしています。

我々は、デジタルのピアニストをピアノの正しい場所に表示することができます。我々の“ Core ML”のクールな点は、どのようなピアノにも対応しているうえ、照明の状態にも左右されないところです。特殊なターゲット用のイメージやマーカー、事前のスキャンも必要ありません。

手の動きなどを崩さない状態で、最大で100分の1の速度まで、楽曲を低速化することができます。これは既存の映像媒体では不可能なことです。もちろんこれらの機能はARヘッドセット上でも動作します。