10月19日（水）、REALITY株式会社の研究開発部門「GREE VR Studio Laboratory」は、バーチャル演奏技術「AI Fusion」を発表しました。技術デモとして、スマートフォン向け配信アプリ「REALITY」のアバター技術と組み合わせた、ミュージックビデオ風のデモ映像が公開されています。
公開された映像では、4人のアバターがバンドを組み、実験用に書き起こしたオリジナル楽曲「ツユハナビ」を演奏しています。ギター、ベース、ピアノ、ドラムの4パートを担当するそれぞれのアバターは、曲に合わせて楽器を「演奏している」ように見えます。
今回発表された「AI Fusion」は、アバター操作アシストAI技術です。モーションキャプチャによる楽器演奏の動作とAI(分類器)によるモーション生成をブレンドし、自然な楽器演奏を表現。アバターの表情と融合させることで、リアルタイムで自然かつ高度な演奏パフォーマンスを成立させています。
ドラムパートを題材にした解説動画も公開されています。この動画は、MIDI楽譜からの自動生成のみで演奏する実験中の映像です。
ドラム単体の動きを見ていると、複数の演奏モーションがうまくつながりながら切り替わり、「ドラムを演奏する動き」を表現していることがわかると思います。そして、モーションによって演奏していることから、楽器が演奏できない人でも”実質”演奏ができる「バーチャル演奏技術」であるとも紹介されています。
「GREE VR Studio Laboratory」は、「AI Fusion」を使用することで、将来的には任意の楽曲を自由な空間で、スマートフォンだけで歌唱や高度な演奏を他のユーザーと同時に行える可能性を示唆。現在のカラオケのように「誰でも、楽しく、自己表現ができる」体験となり、アバターとメタバースで活躍するクリエイターエコノミー創出につながるとコメントしています。
なお、技術デモにて演奏された「ツユハナビ」は、現在複数の音楽配信サービスにて配信中です（配信リンク）。本楽曲は「メタバース時代の軽音楽を楽しむための練習曲」としても設計されており、自由に歌ったり演奏したりできるよう、パート譜やパラ音源などをUGCライセンスで公開を予定しています。詳細は、公式Twitterおよびメールにて問い合わせてほしいとのことです。
