VTuberのVlogはここまで進化できる！アバター合成ツール「Flow Studio」最新活用術

ここ数年、VTuberの間で急速に広がっている動画スタイルが、現実空間でのお散歩を撮影する「Vlog」です。VTuberと現実の映像を合成させ、本当にVTuberが歩き回っているかのような雰囲気の動画が広く人気を集めています。

しかし、VTuberと実写映像を自然になじませる高クオリティな映像を制作しようとすれば、専用の撮影機材が必要となったり、専門の合成技術を取得しているクリエイターに依頼しなければならなかったりと、ハードルが高いのが実際のところ。とは言っても、ただ単にVTuberのイラストと映像を重ね合わせるだけでは「本当にその場所にいる！」という実在感を視聴者に与えられません。

そこで、今回注目したいのが、オートデスクの3D合成ツール「Flow Studio」です。実写映像と3Dオブジェクトを自然に合成するこのツールを使えば、VTuberが本当に現実空間をお散歩しているかのような映像が撮影できるはず！

というわけで、以前「Flow Studio」を使って料理動画を作成してもらったおむらいす食堂さんに再度お声がけして、実際にお散歩動画を撮影していただきました。この記事では、その動画の舞台裏と、「Flow Studio」をVTuberのVlogとして活用する際のコツ、さらにツールの最新技術情報も合わせて紹介します。

そもそも「Flow Studio」とは？

3Dツールセット「Flow Studio」は、すでに撮影した映像素材と、CGキャラクターを合成できるツールです。AIによる高精度なモーショントラッキングにより、現実の人間の動きとキャラクターの動きが滑らかに重なり合い、あたかも現実の空間の中を3Dキャラクターが動いているかのような映像が作成できます。

アプリの中には、すでにいくつかのサンプルアバターが用意されており、それらを選ぶだけでも実写の人間の姿をバーチャルなキャラクターに差し替えできます。また、出力したデータをMayaやblenderなどに出力して、細かな調整も可能です。

公式サイトはこちら：https://www.autodesk.com/jp/products/flow-studio/overview

おむらいす食堂さんにVlogを撮影してもらいました！

今回、MoguLive編集部とオートデスク担当者が、おむらいす食堂さんの動画撮影に同行し、荒川でVlog撮影を実施してきました。

8月の炎天下のなか、エネルギッシュに動き回る、おむらいす食堂さん。そして、鞄からおもむろに取り出したのは……生クリーム？？？

河原で「水分補給だ～～」と言いながら、生クリームを吸う光景に戦慄しつつも、無事撮影は終了。その後、編集工程で「Flow Studio」を活用し、制作できた動画がこちらです。

自撮り用の小型カメラ2種と、広域を撮影するためのミラーレスカメラ1台を使ったことで、さまざまなアングルでの撮影に成功。さまざまなアングルからVTuberの姿を鮮明に捉えることができるため、屋外での散歩撮影でも高い実在感を得られました。

外ロケで実際に使用する際は、

車の激しく行き交う道路や、大勢の人が移動している街並みなどを避ける
光が強すぎるor暗すぎるなど、極端な場所を避ける
顔や身体のラインがはっきりと分かる衣服を着用する

などがポイントです。

おむらいす食堂さんのコメント

――今回のVlog撮影お疲れさまでした。収録してみての感想はいかがでしたか？

真夏の外ロケは刺激的でした！　暑さもさることながら、まさか「生クリームで水分補給をしながら散歩する」という企画に同行者が加わることになるとは。前回も撮影協力をいただきましたが、人前でリアクションをとるにはドキドキするシチュエーションでした。暑さ以外の汗もかきましたね（笑）。

そんな戸惑いがありつつも、撮影は想像以上にスムーズでした。トラッキング機材を身につけることなく、機材はカメラとマイクのみ。慣れない場所でもありましたが、普段と変わらず散歩を楽しめました。VTuberとしての姿で撮影をする時は、だいたい機材を身にまとっているので、身軽な状態で撮影ができるのは嬉しいポイントです。全身トラッキングにしては珍しく外での撮影で、撮影範囲が広がった点も新鮮でした。

――今回、特にお気に入りのシーンはどこでしょうか？

今回使用した3台のカメラ、どの画角からも良いシーンが撮れたのですが……個人的なお気に入りは「引き」のシーンです。外ロケということで、場所の雰囲気を伝えるために広めの画角で撮影したシーンをいくつか取り入れました。

引きのシーンでは映る人物が小さくなるので、Flow Studioで出力できるか心配もしていましたが、結果は大成功！想像以上にアバターが馴染んでおり、本当に「その場にいる」情景を伝えられる映像になったと思います。

——「Flow Studio」で実際に出力した動画を見ての感想をお聞かせください。

室内とは違い、人物も画角も「動き」に富んだシーンが多くなりましたが、ほとんど違和感なく出力できていることに感動しました。引きや煽りが強い画角で「ちょっと難しいかな？」と思ったシーンでも、出力できてよかったです。

アバターにより、細かい調整（顔アップの位置や座った時のスカートの処理）は必要になるかもしれませんが、やはりトラッキング機材なしでこの映像が作れるのが一番の魅力です。

機材に囲まれたスタジオではなく、リアルの情景も含めて撮影できると、映像表現の幅がグッと広がると感じました。

——今後、Vlog収録をする際には、どのような場所の撮影に使ってみたいでしょうか？

Vlogといえば、やはり「旅行」の撮影で活用してみたいです。今回のように外での撮影ができるとなると、旅先の景色をバーチャルな姿とともに伝えたくなります。旅先で見たもの・感じたことを、バーチャルな姿の身振り手振りで表現できたら良いなと思います。

また、Flow Studioの特性からチャレンジにはなるのですが、「夜」や「人混み」でのシーンがどうなるかも気になります。出力する上で難しい場合も出てくるかもしれませんが、見ごたえのある映像が作れるのではと考えています。

今回の撮影では、想像以上に幅広いシーンで活用できることが分かったので、臆せずにFlow Studioを活用した動画を見てみたいです！

「Flow Studio」の使用方法

「Flow Studio」での、大まかな作業は「3Dモデルのアバターのアップロード」→「背景に使いたい現実の映像コンテンツのアップロード」→「アプリによる合成」→「完成品のダウンロード」という手順となります。細かな手順については下記動画をご確認ください。

VTuberの3Dモデルをblender経由でアップロードする際はこちら。

アップロードが完了後、今回のVlogのような撮影を実施したい場合はこちら。

新機能「Wonder 3D」で3Dアバターの制作＆導入がもっと簡単に！

「アバターを使ったVlog動画の撮影、興味はあるけど、そもそもMayaやblenderを使ったことが無いし、3Dアバターをいちから制作してここまで作成するのは無理そう……」と、諦めかけている方へ！今年実装された新機能「Wonder 3D」の紹介です。

「Wonder 3D」は、テキストプロンプトや参考画像を入力するだけで、編集可能な3Dキャラクターやオブジェクトを生成できる機能です。短いテキストで指示したり、コンセプトアートなどのイラストを読み込ませたりして、自分の好みの3Dアバターを生成できます。

実際に試してみましょう。

「Flow Studio」を立ち上げたら「Create New Project」を選択します。

イラストを3D化する「Image to 3D」もしくは、文字情報から3Dモデルを生成する「Text to 3D」を選択します。（今回は「Image to 3D」で解説いたします）

「Image Prompt」に生成したいキャラクターの画像をドラッグアンドドロップします。もしくは「Add Your Image」をクリックしキャラクターの画像を選択します。

今回は、犬のキャラクターで試してみました（※AIで生成された画像です）。

必要に応じて名前、AIモデル、シード値（※生成の基準となる数値のこと）を指定します。今回の作業のように最終的にキャラクターにリグ（骨組み）を設定したり、後述する「Neural Layer」で映像を書き出したりする場合、AIモデルは「Wonder 3D」を選択しておく必要があります。ちなみに、シード数は未入力でもOKですが、入力しておくと、別のプロジェクトで同じモデルを生成するときに同じシード数で生成すると再現性が上がります。

「Generate Mesh」ボタンを押して生成を開始します（※ここで20クレジット消費します。消費クレジットはAIモデルによって異なります）。

最初の生成ではモデル候補が4つ生成されます。

4つのうちから好きな物を選んで、ポリゴン数、三角形or四角形ポリゴン、3Dモデルに画像を貼るかどうか等を選択します。今回は既定設定（ポリゴン数Max、三角形ポリゴン、画像を貼る）の設定で「Generate」ボタンを押します（※今回の場合ここで更に20クレジット消費します。消費クレジットはAIモデルによって異なります）。

3Dモデルが生成されます。このモデルはダウンロードボタンからUSD、OBJ、STL、GLB形式で書き出すことができます。

このままでも一応3Dオブジェクトとして使用できますが、キャラクターに関節の役目を果たす骨組みが埋め込まれていないので、VTuberのように動かすことは出来ません。そのため、今回のようにTポーズの人型の3Dモデルを生成した場合は「Rig」ボタンからAutoRig機能（キャラクターに骨組みを追加する機能）を使用してみましょう。

「Rig」ボタンを押したら、まずはキャラクタータイプを選択します。現状は人型のみ選択可能です。「Next」ボタンを押します。

キャラクターの位置や向き、大きさを調整します。完了したら「Next」ボタンを押します。

間接位置を指定します。色付きのポイントが出現するので、顎、首、骨盤、肩、肘、手首、足の付け根、膝、足首にそれぞれ配置します。人間らしい動きに近づけたいのであれば、キャラクターの関節に近い部分にポイントを合わせるようにしましょう。出来上がったら「Confirm」ボタンを押します。

これで骨組みが追加された3Dキャラクターが作成されます。このキャラクターモデルはUSDZ形式で書き出せるほか、Flow Studioのキャラクターアニメーション機能の「Live Action Easy/Advanced」プロジェクトでも、そのまま使用できます。

ここまでで、3Dキャラクターの作成は一旦完了です！あなただけのオリジナルの3Dキャラクターが完成しました（ただし、まだ紹介したい機能があるので、画面はそのままにしておいてください！）。

生成された3Dキャラクターは後から自由に編集できるのも魅力です。「一旦、ベースを生成して、後から細かいところを調整し、自分のアバターに仕上げる」といった使い方もできます。生成されたモデルはOBJ形式などでエクスポートできるので、Maya、Blenderはもちろんのこと、さまざまなゲームエンジンとの連携も可能です。

「Neural Layer（ニューラルレイヤー）」で表現をより滑らかに

さて、このまま制作した3Dキャラクターを「Flow Studio」の「Live Action Easy/Advanced」プロジェクトに持ち込めば、おむらいす食堂さんのような動画合成が可能です……。ですが、今回は、さらなるステップアップとして「Neural Layer」機能に挑戦してみましょう！

そもそも「Neural Layer」は、生成したキャラクターのライティングや質感、動きのリアリズムを瞬時に高められる機能です。これを使うかどうかで、合成のクオリティが大きく変わってきます。

ここから「Neural Layer」を使って映像として書き出す方法をレクチャーしていきます。

まず「Train LoRA」ボタンを押し、キャラクターを追加学習します（※100クレジット消費します）LoRA追加学習を行うことで、「Neural Layer」で映像を書き出した際の、元のキャラクターの見た目の再現性が向上します。

LoRAの処理が終わったら、再度ホーム画面から「Create New Project」に進みます。

「Live Action Easy」もしくは「Live Action Advanced」を選択します。

[+]ボタンから、今回合成したい動画を選択しましょう。

「Next」から「Scan frame for actors」を選択。

Scanが完了したら先ほど作成した3Dキャラクターを動画の置き換えたい人物にドラッグアンドドロップしましょう。

完了したら「Neural Layer」にチェックして「Start Processing」を選択。合成には時間がかかるので、しばらく待ちます（この記事では、Autodeskの吉田さんに出力後の動画を提供いただきました）。

すると……。

合成前

合成後

動画が出来上がりました！現実の空間に本当に3Dキャラクターがいるかのような、違和感のない映像に仕上がっています。

「Neural Layer」を入れていない映像と比較してみましょう。クオリティの違いがはっきりと出ています。映像作品としてのクオリティをあげるのであれば、ぜひ「Neural Layer」機能も試してみてください！

「Flow Studio」の進化は続く！

これまで、現実空間とバーチャルなキャラクターの融合にフォーカスして「Flow Studio」を紹介してきましたが、もちろんバーチャルな空間にバーチャルなキャラクターを配置して、3Dアニメーション作品として制作するといった使い方も可能です。とは言え、バーチャルな空間をゼロから作成するのも、素人には非常にハードルの高い領域です。