株式会社テクノスピーチと国立大学法人名古屋工業大学の国際音声言語技術研究所は、AI技術を活用して人間の声質や癖、歌い方を再現した歌声合成技術を開発したことを発表しました。
テクノスピーチは「VTuber（バーチャルYouTuber）による配信やイベント、バーチャルアクターによるアフレコシステムといったエンタメ、教育、医療などの分野で研究の成果を投入していく」としています。
テクノスピーチと名古屋工業大学は、音声合成・歌声合成技術の研究・開発に取り組んでおり、これまでに業務用カラオケ機器「JOYSOUND」や音声創作ソフトウェア「CeVIO Creative Studio」等に音声合成・歌声合成技術の導入を進めています。
本研究では、特定の歌唱者の約2時間の歌声データベースに対して、深層学習などのAI技術を適用することにより、歌唱者の声質・癖・歌い方を学習。人手による調整がされていないベタ打ちの歌詞付き楽譜を入力するだけで品質な歌声を合成することが可能とのことです。言語は、日本語、英語、中国語となっており、歌声合成のサンプルはこちらのページで試聴できます。
テクノスピーチは下記のようなエンタメ・教育・医療などに本研究の成果を投入するとしています。
・アーティスト（故人を含む）の歌声の再現
・楽曲作品制作やゲーム開発への応用
・バーチャルユーチューバーによる配信・イベント
・バーチャルアクターによるアフレコシステム
・人工知能や音声対話システムの発声モジュールへの導入
・外国語教育・歌唱教育における柔軟な参照音声の生成
・ALS・喉頭がん等の患者様が用いる発声デバイス
・介護施設用デジタルサイネージ
なお、研究成果は2019年3月に開催される「日本音響学会2019年春季研究発表会」にて発表される予定です。
