VTuber/バーチャルライブ制作現場向けモーションキャプチャー汎用化の新技術「GPAP」×「n-Links Retarget」連携ヤマハとアイ・ペアーズが発表

ヤマハ株式会社とアイ・ペアーズ株式会社は、バーチャルプロダクション向けの新技術を共同開発しました。この技術は、VTuberやバーチャルキャラクターのライブで必要となるモーションキャプチャーの記録や編集、再生を効率化する目的で開発されています。

(「GPAP」と「n-Links Retarget」の連携によるバーチャルプロダクションの制作画面（左）とモーションキャプチャーのイメージ)

今回の開発で利用されるのは、ヤマハが開発中の技術「GPAP」です。GPAPは音響や映像、照明などのデータをオーディオデータに変換し、統一した形式で扱える仕組みです。このGPAPが新たにOSCプロトコルへの対応を実現しました。OSCとは、電子楽器やコンピューター間で音楽演奏のデータをやり取りするための通信規格で、VR分野のモーションキャプチャーでも広く利用されています。今回の対応により、GPAPはOSC形式のデータも扱えるようになりました。

アイ・ペアーズが開発した、モーションキャプチャー用システム「n-Links Retarget」は、モーションキャプチャーで取得したデータをOSC形式で安定的かつ柔軟に送信することが可能です。また、取得した動きを他のキャラクターに再適用（リターゲット）する機能も備えています

両社の共同開発により、「n-Links Retarget」からOSC形式で送出されたデータを、GPAPが受け取ってオーディオデータとして取り扱えるようになりました。この連携により、音楽制作ソフト（DAW）上でモーションデータを録音・編集・再生できるようになります。具体的には、オーディオ編集のようにモーションデータの切り貼り編集が可能となり、バージョン管理にも対応しています。従来はモーションデータを再収録する必要がありましたが、本技術の導入で編集作業の柔軟性が向上します。

(OSCデータの記録再生に対応した「GPAP」インターフェース（プロトタイプ）
)

また、モーションや表情のデータだけでなく、照明やカメラワークなど、バーチャルプロダクションに関わる多様なデータをオーディオとして統合管理し、同期編集が可能となります。例えば、リアルタイムにCGキャラクターやステージを動かしたり、複数のキャラクターや複数視点のカメラ位置データをそれぞれ個別のオーディオトラックとしてDAW上で扱えます。トラックを切り替えることで、カメラアングルを自在に変更することも可能です。この仕組みは、CGライブ制作をはじめとするバーチャルプロダクション全般の制作効率と柔軟性を高めます。さらにOSC規格に対応したことで、さまざまなアプリケーションのデータを汎用的に扱えるのも特長です。

今回開発された技術は、複雑だった従来のCGライブ制作フローに変化をもたらす可能性があります。モーションや表情、照明など多様なデータを、音楽や音響と完全に同期でき、オーディオ編集のように直感的に操作できます。今後、この技術を活用することで、バーチャルプロダクションの制作効率はさらに向上すると予想されます。またエンターテインメント分野だけにとどまらず、業務支援やAI開発といった他の産業や表現領域にも広く活用が見込まれています。