バーチャルなキャラクターが現実の世界に登場し、本当に実在するかのように動き回る……。このような従来であれば非常に難しい技術が必要とされてきた表現が、現在気軽に実現可能なものになりつつあります。そんな技術のひとつとして注目されているのが、オートデスクの実写×CG合成アプリ「Flow Studio」です。
事前に撮影した映像に3Dのキャラクターを自然なかたちで合成できるソフトであり、映画製作やアニメーションなど、幅広い領域で活用されています。MoguraVR編集部でも、今年、VTuberのおむらいす食堂さんの力を借りて、プロモーション向けのコンテンツを制作。視聴者だけでなく、現役のVTuberにまでその技術が注目され、活用してみたいという声が複数寄せられました。
そんな「Flow Studio」ですが、現在さらにアップデートが行われ「Wonder 3D」という機能が追加。3Dキャラクターやオブジェクトを生成し、そのまま「Flow Studio」の素材として使用できるという段階にまで来ています。これにより、これからの映像制作の現場はどのように変わっていくのでしょうか？
今回、「Flow Studio」の開発者ニコラ・トドロヴィッチ氏の来日に合わせ、都内でインタビューを実施。「Flow Studio」の開発コンセプトや、AI機能による映像制作の現場の変革の可能性など、詳しくおうかがいしました。
プロフィール：Nikola Todorovic(ニコラ・トドロヴィッチ)
Wonder Dynamics の共同創業者。起業家、VFX(視覚効果)スーパーバイザー。映画制作者としてのキャリアを通じて、映像技術領域で活躍し、その経験をもとに、共同創業者であり俳優・プロデューサーでもある Tye Sheridan(タイ・シェリダン)とともに 「Wonder Dynamics」を設立。その後「Autodesk Flow Studio(旧 Wonder Studio)」を開発。The Hollywood Reporter による「AIでハリウッドの未来を形作るトップ25人（Top 25 People in AI Shaping the Future of Hollywood）」にも選出された。
1億ドルの予算の壁と「許可のいらないストーリーテリング」
――今回は「Flow Studio」の新機能の話をはじめ、AI技術が映像制作においてどのような役割を担っていくのかといった今後の展望についても伺えればと思います。まずはFlow Studioについて、どのような用途で使えるのか、何が実現可能なのか教えてください。
ニコラ・トドロヴィッチ氏：
私たちが最初に始めたのは、映画の中にCGキャラクターを登場させるための作業工程をスピードアップすることでした。
それを実現するのが、Flow Studioに搭載されている「AIモーションキャプチャー」と呼ばれる技術です。俳優の演技や動きを取り込んでCGキャラクターに変換したうえで、アニメーション、ライティング、コンポジット（合成）を自動的に行います。
――そもそもどのようなきっかけでこの技術を開発したのでしょうか。
トドロヴィッチ氏：
2016年から2017年頃に、共同設立者であり俳優でもあるタイ・シェリダン（※）と一緒に映画の脚本を書こうとしたことが始まりです。
（※右：タイ・シェリダン：Wonder Dynamicsの共同創業者であり、アメリカの俳優。X-MENシリーズのスコット・サマーズ役や、『レディ・プレイヤー1』の主人公ウェイド・ワッツ役で知られる）
私たちの映画では当初、人間とロボットが共に暮らす未来の物語を描きたいと考えていました。しかし、いざCGを本格的に導入しようとすると1億ドルほどの予算が必要になり、私たちには到底手が届かない、あまりにも費用がかかりすぎることに気づいたのです。
そこで私たちが注目したのが、生成AIの技術です。AIを使ってコストを削減し、作業工程をスピードアップできないかと考えました。
当時はまだ「生成AI」という言葉が一般的になる前だったので、まずは自動運転車やロボット工学の分野を調べ始めました。コンピュータービジョンを使って、周囲の世界を理解する技術に着目し、自分たちの映画を作るためにこのプロジェクトをスタートさせたのです。
もともとは自分たちの映画を作るために始めたことでしたが、やがてこれは自分たち2人だけの問題ではなく、もっと大きな規模の話だと気がつきました。映像制作のコストの高さに強いフラストレーションを感じているクリエイターは、私たちだけではないと思ったからです。そこで、まずはこの技術を形にして、人々の手に届けようと決意しました。
――当初作ろうとしていた映画には、現実の空間とCGを合成するようなコンセプトが最初からあったのでしょうか？
トドロヴィッチ氏：
はい。私たちが考えていたのは、まさにCGキャラクターと実写を組み合わせることでした。
しかし、ツールを構築していくうちに、この技術の活用の幅の広さに気づきました。フルアニメーションの制作にも使えるし、VTuberやゲーム、さらには広告などにも使える。あらゆるコンテンツ制作に広く活用できるものだと確信するようになりました。
なぜなら、モーションキャプチャーで動きを取得し、そこにライティングやコンポジションを適用していく制作工程は、映画であれVTuberであれ、すべてにおいて非常に似通っているからです。
――ちなみに、そのもともとの映画自体は完成されたのですか？
トドロヴィッチ氏：
いえ、まだです（笑）。この技術は自分たちの映画よりも大きな可能性を秘めていると考え、技術開発のほうに注力することを選びました。
その過程で、私たちと同じような立場の人々、つまり物語を伝えることの難しさに直面している大勢のクリエイターと出会いました。ハリウッドは非常に閉鎖的で、物語を語るためには常に誰かの「許可」が必要な世界だと捉えられています。私たちを含め、その現状を快く思っていないクリエイターは少なくありません。
そこで私たちが掲げたのが、「許可のいらないストーリーテリング（Permissionless Storytelling）」という考え方です（※）。
YouTubeが「配信」の仕組みを変えたことで、クリエイターは、誰にも許可を求めることなく、自分たちの物語を語れるようになりました。私たちがこの技術を開発することで、かつてのYouTubeと同じ変革が映画制作の現場にも訪れるかもしれない。そんな興奮を感じていたのです。
（※参考：The Revolution Happening in Filmmaking and VFX with Nikola | Bad Decisions Podcast #75 – YouTube）
日本のVTuber文化との親和性と『レディ・プレイヤー1』の偶然
――Flow Studioは日本のVTuber文化と相性が良いと感じています。以前の取材記事で実際にVTuberの方に利用していただいた際も好評で、現役のVTuberの方々からも「使ってみたい」という声が多く寄せられました。このようなVTuber領域での活用のアイデアについては、どのようにお考えですか？
トドロヴィッチ氏：
おもしろいことに、私たちのエンジニアの中にVTuberの大ファンが数人おり、開発の早い段階である2019年から2020年頃には、彼らを通じてこの文化を教えてもらっていました。
私たちにとって、そのユースケース（VTuber）は非常に自然なものに思えました。結局のところ、こうしたツールは物語を伝え、自分を表現するための手段に過ぎないからです。
私自身、カメラの前に立って話すことに居心地の悪さを感じることがあるので、キャラクターを介して物語を伝えることのできるVTuberには惹かれる部分がありますし、実際にいくつかのアカウントをフォローしています。ですから、この文化に受け入れられたことはとても嬉しいですね。
また、おもしろい偶然なのですが、私たちがスタジオを立ち上げた時期というのが、共同創設者のタイが映画『レディ・プレイヤー1』に関わっていた時期なんです。あの映画はある意味で、VTuberのみなさんが向かっている未来そのものを描いた作品と言えます。
さらにその撮影現場で、従来のモーションキャプチャースーツがいかに重装備で、演者の負担が大きいかをタイ自身が体験しています。あの規模の作品を作ることがどれほど困難かを知っていたからこそ、「モーションキャプチャースーツはいらない。もっとシンプルにしよう」という確信を持って技術開発を進めていきました。
今はFlow Studioを使うことで、たとえばリビングにいながら自分のバーチャルキャラクターを外の世界へ連れ出し、周囲の環境に合わせて動き回らせることができます。従来の手法では技術的なハードルやコストが高く、そう簡単に実現できるものではありませんでした。
――現実の景色とVTuberの合成が非常に簡易にできるようになったことで、Vlogのような現実をベースとした映像コンテンツ制作の大きな足掛かりになるのではないかと感じています。日本ではVTuber文化での活用が目立っていますが、世界的に見てFlow Studioはどのような現場で使われているのでしょうか？
トドロヴィッチ氏：
本当に幅広い分野で使われています。映画やテレビ番組のビジュアルエフェクト（VFX）やアニメーション制作をはじめ、YouTubeやソーシャルメディア向けの短編コンテンツにも利用されています。
また、モーションキャプチャーの強みを活かして、ゲーム開発のアニメーションや広告・マーケティング分野でも活用されていますし、もちろんハリウッドの大手映画スタジオでもかなり使われています。
――実際に使われた有名な作品などの事例はありますか？
トドロヴィッチ氏：
私たちが把握しきれていないもの、公表できない事例も数多くありますが、たとえば『アベンジャーズ』シリーズの監督・ルッソ兄弟の『エレクトリック・ステイト（The Electric State）』があります。このNetflix映画では、ただツールを使うだけでなく、私たちも直接コラボレーションして制作に携わりました。
テレビシリーズでは、『スーパーマン＆ロイス（Superman & Lois）』での使用事例があります。通常はCGを使わない『ザ・マスクド・シンガー（The Masked Singer）』といったテレビ番組でも使われており、これは現実のVTuberに近い使われ方かもしれませんね。
――日本では現在、個人クリエイターのレベルで徐々に浸透してきている印象があるのですが、海外のお話をうかがうと、非常に大規模なスタジオレベルで使われているのが目立っているように感じます。
トドロヴィッチ氏：
かなり幅広い層の方々に使っていただいています。個人レベルで使っているクリエイターもいれば、10〜15人の小規模な制作会社で使われていることもありますし、もちろん大手のスタジオにも使っていただいています。
大手のスタジオとは直接やり取りをしているので把握できていますが、より小規模なレベルになると、誰がどこで使っているのかすべては把握しきれていません。中には、私たちの所に歩み寄ってきて、「実はあの作品で使っていたんだよ」と声をかけてくれる方も時々いらっしゃいます。
また、興味深いことに、2023年のサービスローンチの際に約50万人がウェイトリストに登録してくれたのですが、一番最初に登録してご連絡をくださった顧客の一人が、実は日本の方だったのです。それを見て驚くと同時に、とても嬉しく思いました。
AIによる「ブラックボックス化」を防ぎ、クリエイターの編集権を担保する
――今までさまざまな企業や個人のクリエイターに使われてきたと思いますが、ユーザーからはどのような感想が届いていますか？
トドロヴィッチ氏：
「とにかく簡単に使える」ということで、非常に喜んでくださっている方が多いです。
CGやVFXに関するツールは習得するのが大変で、苦手意識を持っていた方も多いと思いますが、このツールなら簡単に扱えると喜ばれています。特に多く寄せられるのは、「これまでは予算の都合で諦めていたストーリーが描けるようになった」という声ですね。
私たちがこのツールを開発した理由にも関わるのですが、現在、AI動画生成ツールの多くは、単に動画を出力するだけで、細かな編集ができません。テキストから動画を生成するAIモデルの問題点は、一度動画が完成してしまうと、そこから細かなディテールを編集できない「ブラックボックス」のようなものになっていることにあります。
そこで私たちは、AIが全体の6～7割の作業を進めたあとに、MayaやBlenderといった外部の3Dツールを使って、クリエイター自身が微調整や編集を加えられるようにシステムを構築しました。
つまり、ユーザーはブラックボックス化された映像の完成品を受け取るのではなく、モーションキャプチャーのデータやカメラトラッキング、ライティングの情報といったさまざまな要素を受け取り、それを自分自身でコントロールして、最終的な形へと仕上げていくことができるのです。
これが、私たちが受け取るフィードバックの中でも最も大きな称賛です。アーティストの多くは、AIがランダムに提示するルーレットのような運任せの成果を好まず、芸術的なコントロールと再現性を求めているため、なぜこのアプローチが重要なのかを深く理解してくれています。
3DCG最大の壁、キャラクター制作を民主化する「Wonder 3D」
――新たに追加された「Wonder 3D」についてお伺いします。Flow Studioの中にこの機能を追加しようと思ったのは、どのようなきっかけだったのでしょうか？
トドロヴィッチ氏：
当初からの計画として、CGの技術に詳しくない方でも利用できるエンドツーエンドのソリューションを提供したいと考えていました。
キャラクター制作は、実写合成やアニメーション制作における最大のボトルネックのひとつです。私たちがアニメーションやライティングのプロセスをどれほど民主化して簡単にしても、最初に使えるキャラクターのライブラリが少なければ、ユーザーはすぐに飽きてしまい、ツールを使うのを諦めてしまいます。
だからこそ、AIを活用してキャラクターを簡単に生み出せる「Wonder 3D」の開発は、私たちにとって必然でした。これにより、キャラクター作成から最終的な映像の完成まで、すべてをシームレスに行うことができます。
（文章で作成したい3Dモデルを指示する。「人間サイズで革ジャンを来たハチを作って」）
（完成した3Dモデル）
（出力したモデルの造形は、Mayaなどのソフトで細かく調整できる）
また、私たちは「Text-to-3D」だけでなく、「Text-to-Image」の機能も公開しました。これは、自分のキャラクターをどのような見た目にしたいかを探るのに重要だからです。
プロンプトを入力してキャラクターの画像を生成し、納得がいくまで調整したものをコンセプトアートとして、3Dアセットに変換します。あとはリギング（骨や関節を組み込むこと）を施せば、自分のライブラリに保存され、モーションキャプチャーや実写合成、アニメーションなどにいつでも使用できるようになります。
――なるほど。それは大手のアニメーションや映像の制作会社などから「3DCGでキャラクターやオブジェクトを作るのが大変だ」という声が届いていたからなのでしょうか？
トドロヴィッチ氏：
大手というよりも、個人のクリエイターや、限られた人数で活動している小さなチームの方々からの意見が大きかったです。
もともとVFXの世界にいた経験から、キャラクター制作がいかに莫大なコストと労力を伴う作業であるかは身をもって知っていました。1体のキャラクターを作り上げるのに6ヶ月以上かかることもあったので、そのプロセスをAIがスピードアップしてくれることを期待しています。
――「Wonder 3D」の機能についてもう少し詳細にお聞かせください。出力した3Dデータは、外部ツールを介して骨組みの設定などをせずとも、Flow Studio内でアバターの動きを決めたりできるのでしょうか。
（Wonder 3Dで出力した人型モデル）
（AIリギング機能でボーンを設定可能。これにより人の動きを再現するアバターとして活用可能に）
（生成したアバターは、そのままFlow Studioに持ち込める）
（実写映像に合成すれば、そのまま3Dキャラクターが現実に出現したかのような絵作りが可能となる）
https://www.youtube.com/watch?v=dMrSRhwSkTQ
トドロヴィッチ氏：
プロンプトを入力するだけで、それがキャラクターでも、椅子のようなオブジェクトのアセットでも、テクスチャ付きの3Dモデルへと変換することができます。
あるいは、プロンプトで画像を生成し、その画像をもとに「Image-to-3D」を使って3Dモデルを作ることも可能です。キャラクターであれば、AIリギングによって骨組みを設定し、AIモーションキャプチャーを使って命を吹き込んで、アニメーションや実写合成に活用することができます。
これにより、Wonder 3Dでキャラクターを作るコンセプトの段階からスタートして、完成した3Dキャラクターに対して自分自身が役者として実写映像を収録し、その動きをCGキャラクターに反映させてアニメーションを作るところまで、一貫して完結させることができます。ニューラルレイヤーを使って、顔の表情や手の動きを洗練させることも可能です。
――それはすごいですね。3DCGを作りたいけれどハードルが高く感じていた人や、簡易な動画を作りたいクリエイターにとっても、手が出しやすくなると思います。
トドロヴィッチ氏：
私自身、かつてコンポジットの仕事をしていたときに、CG制作の一部のプロセスが遅いことにいつも不満を感じていました。製品の開発にあたっては、3Dソフトウェアやコンポジットツールを一度も使ったことがない人に使ってもらい、専門的なスキルを持たない人でも簡単に使えるようにするための検証テストを社内で行っています。
なぜなら、最高のストーリーテラーの中には、技術的な部分が苦手であっても、物語を伝えること自体には抜群の才能を持っている人がいるからです。
たとえば、VTuberの中には素晴らしい才能を持つ人がたくさんいますが、彼らが必ずしも3Dソフトウェアの扱いに長けているわけではありません。そういった方々にも使っていただけると思います。
AIはクリエイターの仕事を奪うのか？人間の表現活動を拡張するアシスタントとしてのAI
――CG合成においてAIを活用していく流れは、今後世界的にさらに加速していくとお考えですか？
トドロヴィッチ氏：
AIの活用は、3DCGの世界においてもはや避けることはできないと考えています。
とはいえ、私たちは「AIの倫理的で良好な使い方」の側に立っていたいと強く意識しています。つまり、あくまでもアーティストありきであり、技術的な作業部分のスピードを上げるためのアシスタントとしてAIを使うべきだということです。
プロンプトを入力するだけで、映画やVTuberのコンテンツを思い通りに生み出せるようになるとは思いません。感情やリアクションをプロンプトだけで指示するのは極めて困難です。だからこそ、私は役者のパフォーマンスが好きなのです。
私たち自身も映画の世界の出身だからこそ、アーティストは自らパフォーマンスを主導し、AIは彼らの表現をサポートし促すためのものであるべきだと考えており、責任ある形でこの技術を開発していくことを重要視しています。
――「AIが自分の仕事を奪うのではないか」という声も聞かれているなかで、とても誠実な向き合い方をされていると感じました。
トドロヴィッチ氏：
ありがとうございます。人々は芸術に触れるとき、その作品に込められた人間的な要素を高く評価するものだと私は考えています。ある作品が、完全にAIによって生成され、人間が一切関与していないものだったとわかったら、人々はそれを評価しないでしょう。
私たちが作品を愛し、クリエイターを応援するのは、それが一朝一夕では作れないものだと知っているからです。だからこそ私たちは、芸術に価値を見出すのです。もしそれが単なるプロンプトになってしまったら、人々はそれを評価しなくなると私は思います。
技術的な観点から見れば、むしろ人間の果たす役割とその価値は、さらに高まるはずです。私たちは、AIが表現の「上限」と「スタートライン」を引き上げているのだと考えています。読者の方々に向けて一言で言うなら、「AIのサポートによって、より多くのことを達成できるようになる」ということです。
だからこそ、人間の重要性が高まる一方で、AIを無視することは危険だと考えています。なぜなら、これまでは大規模なアシスタントを必要としていたようなことを、アーティストが自力で達成できるようになる光景を、これからどんどん目の当たりにすることになるからです。
最後にまとめると、AIの本来のビジョンは、小規模なチームや個人をエンパワーメントすることだと考えています。
従来は莫大な予算を持つ大手制作会社にしかできなかったことが、小規模なチームや個人でも実現できるようになるでしょう。よく耳にする懸念の声とはまったく逆で、実際のAIは、より多くのことを行い、より大きなものを創造するための力を与えてくれる存在です。
今後は、Vlogを作っているクリエイターの方々がAIを活用して映画やミュージックビデオなどを制作し、独自のIPを完全にゼロから構築できるようになるかもしれません。まさに映画スタジオが今やっているようなことを、小規模なスタジオや個人のクリエイターができるようになる。私はそのような未来を期待しています。
――貴重なお話をありがとうございました。
「Flow Studio」はこちら：https://www.autodesk.com/jp/products/flow-studio/overview
