デイリーランキング

【ポケモンGO】ボックス内のタマゴから出現するポケモンを確認可能に

ポケモンGO

2021/04/09 11:25

中田敦彦が顔出し引退を撤回 アバター化に失敗したその理由

話題

2021/04/07 19:30

ひろゆき アバターを利用して配信 顔出し引退は難しいのか実験

話題

2021/04/08 13:22

「超声優祭2021」島﨑信長・叶・葛葉が共演、えのぐ EP「臨戦態勢」発売【VTuberデイリーニュース 4/8号】

VTuber

2021/04/09 12:00

「Oculus Rift 2」は製造直前にキャンセルか。Oculus創業者パルマー・ラッキーが明かす

Oculus Rift

2021/04/08 18:30

MoguraVR facebook twitter hatena line

「バーチャルを楽しむ」ためのエンタメメディア

MoguLive

カメラでピアノを検出、“ARピアニスト”が演奏してくれるアプリが開発中

シリア出身の医師でソフトウェア関連の起業家でもあるFayez Salka氏は、自身のTwitterで“ARピアニスト”がピアノを演奏してくれるアプリ「AR Pianist」を公開しました。機械学習を活用し、カメラがピアノを検知すると、ピアニストが出現。ARでピアノを弾いてくれる、というものです。

「AR Pianist」は機最高1cm単位の精度で3D空間内でのピアノの位置と向きを算出します。公開された映像からは、ピアニストとARエフェクトのピアノが、現実に存在するピアノとほぼ同じ位置で表示され、演奏される様子が確認できます。Salka氏によれば、このAR表示は「アプリがピアノを1フレーム認識するだけで表示可能で、3Dカメラも不要」とのこと。

現時点では未リリース

2020年1月28日現在、「AR Pianist」は本リリースには至っておらず、開発が進められています。同アプリの開発はSalka氏と、同氏が創業したMassive Technologies Incの共同創業者Anas Wattar氏が行っています。

「AR Pianist」はスマートフォンかARヘッドセット上での使用を想定。正式バージョンには、スマートフォンのマイクから使用者の演奏を認識し、機械学習によってフィードバックと始動を行う機能を実装予定です。

関係者のコメント

「AR Pianist」についてSalka氏は、米メディアVRScoutのインタビューに答える形で以下のようにコメントしています。

我々は、デジタルのピアニストをピアノの正しい場所に表示することができます。我々の“ Core ML”のクールな点は、どのようなピアノにも対応しているうえ、照明の状態にも左右されないところです。特殊なターゲット用のイメージやマーカー、事前のスキャンも必要ありません。

手の動きなどを崩さない状態で、最大で100分の1の速度まで、楽曲を低速化することができます。これは既存の映像媒体では不可能なことです。もちろんこれらの機能はARヘッドセット上でも動作します。

歩き回って音楽を聴く、海外アーティストがARで生み出す"空間音楽" | Mogura VR

歩き回って音楽を聴く、海外アーティストがARで生み出す"空間音楽" | Mogura VR

MoguraVR

スマホがピアノの先生代わり 鍵盤の上にARでナビが出現 | Mogura VR

スマホがピアノの先生代わり 鍵盤の上にARでナビが出現 | Mogura VR

MoguraVR

(参考)VRScout

Mogura VRはVRScoutのパートナーメディアです。


【Mogura主催のイベント】
・実際に開催してわかったオンライン・バーチャルイベントの運営ノウハウ・動向を語る! オンラインセミナー開催(4/21)  

サムスン、複数のMRヘッドセットを開発中か 特許出願が判明

2020/01/28 18:30 業界動向

3Dモーキャプ「OptiTrack」カメラ新製品の国内販売が開始

2020/01/28 18:30 業界動向
VR/AR/MR 用語集