楽器の練習をするとき、教本でもビデオでもなく、目の前にお手本の手があって、演奏をしてみせてくれたら、どんなに楽なことでしょうか。
現実にCGを重ね合わせて表示させることのできるMRデバイスHoloLensを使って、実現しようとしているアプリが『teomirn（テオミルン）』です。
2017年3月7日から3月8日の間、日本テレビタワーにて、日本テレビの研究チーム「日テレラボ」による体験イベント『CREATIVE TECHNOLOGY LAB』で展示されました。本アプリは、以前も概要をMogura VRで紹介していますが、今回は実際の体験レポートになります。
『teomirn（テオミルン）』
『teomirn』はマイクロソフト社のMRデバイスHoloLensを使ったピアノ視聴練習システムです。
このシステムは、楽譜だけの練習では挫折してしまう人に実際に演奏者がそばいて指運びを見せることでよりレッスンに取り組んでもらえるのではないか、といった問題意識から開発されました。
HoloLensを被ると、現実空間にピアニストが投影され、自動演奏のピアノに合わせて手や体を動かしています。まるで目の前で本物のコンサートが行われているようです。
空中のメニューアイコンを選択することで、楽譜、演奏者の動画、演奏者の手、演奏者の体の映像が空中に浮かびます。ピアノの左側には楽譜が現れ、空中に張り付いているようです。
自動演奏機能付きのピアノを使用しているため、鍵盤が上下しています。HoloLensを通してみると、3Dグラフィックのピアニストの手が動いており、鍵盤を押しているように見えます。鍵盤の3Dモデルの手に自分の手を重ね合わせて弾いてみることもできそうです。
「手の動きの再現」の応用可能性の高さ
CGモデルがいることで、演奏しているときの体の動きや、手の動きからモニターの映像や演奏した音だけでは気づかない、表現にも気づけるかもしれません。自分がひけなくとも自宅でプロのピアニストの演奏会を開いているように感じ、個人練習でも映像だけや、音だけの練習より先生がそばにいる実際のレッスンに近い気分で練習できそうです。
「現実とバーチャルの両方が見える」というHoloLensの特徴が光るコンテンツでした。なお、演奏者の手の動きは手の動きを認識するLeap Motion、演奏者の体はKinectで3Dスキャンされています。
この技術を使うとピアノ以外の楽器、ひいては音楽以外の分野でも手の動きを記録することで、名演奏家や名人の技術の記録が可能になります。また、再現性が高いので、どこでもいつでも同じ動作を見ることが可能になります。教育や文化保護だけではなく、新たなエンターテイメントの創出にもつながりシステムです。
『teomirn』は配布未定ですが、3月23日に虎ノ門ヒルズで開催されるテクノロジー×エンターテイメント×ビジネスの交流を目的としたイベントSENSORS IGNITION 2017でも展示されます。
