「avex-xRハッカソン（VR/AR/MR）」が2017年11月18日から19日にかけてエイベックス株式会社により開催されました。
今回はAutodesk賞、マイクロソフト賞、Perception Neuron / アユート賞、Moff賞を受賞した『ホロレンズでダンスレッスン』（チーム ホロダンス）をレポートします。
『ホロレンズでダンスレッスン』は体の動きを計測できるモーションキャプチャデバイスPerception Neuronを装着したダンサーのダンスを記録し、3Dスキャンしたダンサーの3DCGモデルで動かして、いつでもHoloLens上で見られるようにしたアプリです。
憧れのダンサーが目の前に居て、一緒にいつでもどこでも踊れる体験が可能になったら、「踊る体験」が変わるかもしれません。
ダンスの先生がいつでも一緒にいるよう
『ホロレンズでダンスレッスン』は、鏡と同じ場所に先生のCGモデルを置くことで、自分が動いてる姿と先生の動きを同時に見られます。現実に先生が鏡の前にいるのと変わりがありません。
HoloLensは視野角が狭いため、等身大の人間のCGモデルを目の前に表示した場合は全身が見えませんが、装着者から2ｍ程離れた鏡と同じ場所に表示していれば全身を見ることができ、ダンスの練習に支障がありません。
Perception Neuronは精確に動きを計測するにはまだ問題もありますが、ハッカソン期間中に、『ホロレンズでダンスレッスン』をダンスを勉強中の学生に体験してもらったところ、30分程で先生のダンスを覚えられたとのことで、実践面でも効果が出ています。
未来のダンスレッスン
ダンスを練習するとき先生がそばにいればいいのですが、常にいるわけではありません。
1人で練習する場合、先生や好きなダンサーのダンスのビデオを見ながら練習をしても、固定したモニターでは見えにくく、横や後ろから見たときはダンサーの体はどう動いているのかということは平面のモニターではわかりにくいという問題があります。
現実に等身大のダンサーを出現させることで、鏡に映る自分とダンサーを比較して見られ違いがわかりやすくなります。
ダンサーは立体的な3DCGモデルです。正面でも真横からでも見たい場所から体の動かし方を確認できます。
HoloLensの場合、顔の触れる接着面が少ないため汗をかいても不快感は少ないでしょう。ただし、ダンスは頭を大きく振る動作も多く、現在のHoloLensの装着感では負荷がかかり、ズレることもあるとのこと。
どこに住んでいても人気講師のレッスンが受けられる
有名な講師のレッスンを受けたい人は沢山いても、教室の広さも講師の時間も有限です。生徒の数が多い教室でレッスンしても満足度は低く、教室に通うことも遠距離になるほど苦労と費用を伴います。
『ホロレンズでダンスレッスン』のようなシステムならば遠隔地でも、いつでも世界的なダンサーを独り占めにしたレッスンができます。
将来的には、憧れのアーティストと共演しているような映像をネットにアップして共有することや、モーションセンサーを自分につけてダンスの採点やオンラインでのダンスコンテストも可能にしたいとのこと。
マイクロソフト賞コメント
MRの凄さが出ていたことと、HoloLensを被っているとかっこいいです。かっこいい私を見ながらダンスを踊れる、体験者のナルシスト的な気持ちもくすぐるところがいいです。
Autodesk賞
コメント
本物のアーティストを呼んでモーションデータをとり、他のチームにもシェアしたこと。すぐにでも使えるような作品だったことを評価しました。
Perception Neuron /
アユート賞コメント
元々あったアセットにモーションをつけて、実際のダンサーの方に試していただいて、30分で踊れるようにしたという実用性を評価しました。
