VTuberが日常に溶け込む！？ 実写×CG合成ツール「Flow Studio」のスゴすぎる可能性に迫る

VTuberが現実世界に飛び出し、本当に実在しているかのように動き回る——。そのような光景は、ファンにとって、いつか見てみたい夢のひとつ。これまで多くのクリエイターがその実現に向けて、AR技術を使い、様々な表現を試みてきました。

最近では、VTuberと現実の景色を融合したような映像表現も徐々に見られるようになりました。しかし、専門的なモーションキャプチャースタジオを用いた収録が必要であったり、アバター専用のトラッキングツールを全身に装着する必要があったりと、まだまだ気軽に実現する段階にはありません。特に個人で活動するVTuberにとっては手の届きにくい領域です。

そんな中、現在注目されているのが、オートデスクの実写×CG合成アプリ「Flow Studio」です。このアプリを使えば、専用のスタジオもツールも必要なし。動画素材とアバターさえあれば、現実とバーチャルが融合したような表現が可能になります。

「Flow Studio」とは、どのようなツールなのか。今回、実際にVTuberのおむらいす食堂さんが体験し、映像を制作してみました。この記事では、その撮影の裏側を紹介しながら、このツールの魅力に迫っていきます。

そもそも「Flow Studio」とは？

3Dツールセット「Flow Studio」は、すでに撮影した映像素材と、CGキャラクターを合成できるツールです。AIによる高精度なモーショントラッキングにより、現実の人間の動きとキャラクターの動きが滑らかに重なり合い、あたかも現実の空間の中を3Dキャラクターが動いているかのような映像が作成できます。

アプリの中には、すでにいくつかのサンプルアバターが用意されており、それらを選ぶだけでも実写の人間の姿をバーチャルなキャラクターに差し替えできます。また、出力したデータをMayaやblenderなどに出力して、細かな調整も可能です。

おむらいす食堂さんに実践してもらいました

実際、どのような映像ができるのか。今回、VTuberのおむらいす食堂さんをお呼びして、収録を行いました。まずは、現実のキッチンで、オムライスをつくってもらいます。

（実際に作ってもらったオムライス）

次に、収録したデータを「Flow Studio」にアップロード。さらに、おむらいす食堂さんのアバターデータを3Dキャラクターとして登録して、映像とアバターを合成します。すると……。

このような動画が完成しました！ 実際に見てみると、おむらいす食堂さんが後ろに回ったり、素早く動いたりしても、違和感のない映像として仕上がっています。

まるで、本当に「VTuberおむらいす食堂」が目の前にいるかのよう。一般的なVTuberの調理動画よりも、実在感と臨場感が生まれている印象です。

おむらいす食堂さんのコメント

—―今回の収録は、普段の料理収録と比べて、どういったところが違いましたか？

おむらいす食堂：
まず、カメラの台数です。普段ならカメラ1台で行うところ、今回は3台での撮影でした。全身・上半身・手元をそれぞれ映し、バーチャルとリアルのシーンが切り替わるおもしろい動画になったと思います。

また、撮影時の服装も異なりました。と言っても、いつもの部屋着ではあるのですが……Flow Studioで映像を処理することを前提にいくつか考慮する点がありました。季節柄、厚着をしてしまいがちですが、今回の撮影では身体のシルエットが隠れないようなものを選んでいます。

一方で、それ以外は普段と変わらなかったというのも正直な感想です。動画の仕上がりとしてはかなり変わったものになったと思いますが、トラッキングの機材を身に付けることなくスムーズに撮影ができました。

—―「Flow Studio」ならではの動画編集ポイントはありましたか？

「Flow Studio」で処理した映像では、3Dアバターが最前面に配置されます。そのため、本来であれば隠れるべきアバターの一部がはみ出た状態になるので、動画編集時に修正する必要があります。

今回の撮影で言うと、キッチンカウンターとアバターが重なる部分はマスクツールを使用して修正しています。動画編集ソフトにもよりますが、私が普段使っているAdobe Premiereの「オブジェクトマスクツール」を使えば、それほど大変ではありませんでした。

（左：修正前、右：修正後）

—―「Flow Studio」で仕上がった動画を目にしてのご感想は？

「え！？ 何これ、すごい！」と率直に思いました。撮影から帰宅して、試しにFlow Studioで映像を書き出してみたのですが、リアルの自分がバーチャルの姿へ置き換わっているのに驚きました。今日あったことなのに「本当に自分が料理していたんだっけ……？」と思ってしまうほど。ボタンを押して待っただけとは思えない精度で自分の動きが反映されていて、少し恥ずかしいくらいでした。

—―VTuberが現実の世界に現れているかのように見える映像はどういったところが魅力だと思いますか？

現実で起こったことを分かりやすく伝えられるところです。VTuberだと、どうしても身体の動きでリアクションを伝えにくかったり、現実の姿を隠すためにカメラの画角が狭くなってしまいます。Flow Studioで処理することを想定して撮影すれば、全身を映して、実際の動きに近い形でVTuberとしての表現ができます。

また、現実の世界にVTuberがいるかのような映像は、視聴者とVTuberが同じ世界を生きていることを感じさせてくれます。現に、VTuberも人であって、見た目の表現としてバーチャルを選択しているだけなので当然ではあるのですが……実感が湧きやすく、親しみが持てるのではないかと思います。

—―今後も「Flow Studio」を使ってみた動画制作を試したいと思いますか？ また、どのような動画企画と相性が良さそうでしょうか？

いろいろ試してみたいです！ 今回は室内でしたが、屋外での撮影もおもしろそうです。旅行Vlogが好きで何度も撮影してきましたが、自分自身の姿を含めて動画で表現することはあまりできていません（いつも静止画になってしまいます……）。
全身を動かすアクティビティでも、ゆったりとした食事シーンでも、3Dアバターの動きと合わせてリアルの情景を伝えられると良いなと思います。

相性で言うと、やはり全身の動きがメインとなるパフォーマンス系でしょうか。ダンスや演劇など、舞台上で行われるものとの掛け合わせが見てみたいです！ 専用スーツを着てスタジオでトラッキングをする場合は、スペースの制約もありますが、実際の映像を撮るだけなら普段と変わらず自由に動き回れますよね。それから、スポーツも相性がよさそうです。今回、結構素早い動きにも対応していると感じたので、運動会や体力測定の企画ができそうです。

「Flow Studio」実際の使用方法を紹介！

「Flow Studio」の手順を詳しく見ていきましょう。まずは、オートデスクの公式サイトに会員登録し、「Flow Studio」のプランを選択します。すぐに扱えるプランはそれぞれ「Free」「Lite」「Standard」「Pro」があります（※「Enterprise」プランのみ、オートデスクへの問い合わせが必要です）。それぞれのプランの違いは後述します。

プランを選択してログインすると、Webブラウザに上記のようなサービスが立ち上がります。これが「Flow Studio」です。まずは「Create New Project」を選択しましょう。

4つのモードが選択できます。それぞれに出来ることに違いがありますが「おむらいす食堂さんのような動画を撮りたい」のであれば、「Live Action Easy」か「Live Action Advanced」を選択すれば大丈夫です。今回は最も簡単な「Live Action Easy」を試してみます。

上記の画面が出ます。「Upload Videos」の部分に、自分の収録したビデオをドロップしましょう。

（※以降の編集画像では、おむらいす食堂さんの顔部分を加工しています。実際はアバターではなく人物の映ったビデオをアップロードしてください）

アップロードしたビデオを選択すると、中央に表示されます。

「Next」ボタン→「Scan frame for actors」ボタンを押すと、動画内の人物がスキャンされ、人物が四角い枠で囲われます。

次に、右側にあるアバターの選択画面から自分の好きなものを選び、人物を囲っている四角にドラッグ&ドロップしてアバターを割り当てます。割り当てが完了すると、下記のように、人物の右上にアバターのアイコンが表示されるようになります。

ここまで完了したら画面上の「Next」を選択。下記のような画面が出てきます。様々な選択肢が出てきますが、このままビデオとして書き出すだけなら、特に何も選択せずに処理を開始して大丈夫です。

動画の処理には、ある程度の時間がかかるので、完了するまでは待っているだけで大丈夫です。完了すると、メニューの「My Project」からビデオをダウンロードできます。ダウンロードしたビデオを実際にみて違和感が無いかを確認しましょう。

これで全ての工程が完了です！

作業途中で分からないところがあれば、下記の動画も確認してください。

よりアバターと身体の位置を調整できる「Live Action Advanced」の解説はこちら。

VTuberアバターを「Flow Studio」にアップロードするには？

3DモデルのVTuberアバターを「Flow Studio」にアップロードするには、専用のアドオンを「blender」もしくは「Maya」にダウンロードして、各ソフト側で調整を施す必要があります。詳しくは、下記のレクチャー動画をご覧ください。

「Maya」から3Dアバターをアップロードする方法

「blender」から3Dアバターをアップロードする方法（英語版動画）

アバターの要件

ビデオ収録で押さえておきたいポイントは？

今回「Flow Studio」で使用するビデオには、撮影対象の姿が、しっかりと映り込む必要があります。身体の前に障害物や人の姿があると、正しくアバターを合成できない可能性があるので、撮影はなるべく人がしっかり映り込む広めのスペースがおすすめです。屋内での撮影が推奨されていますが、屋外での撮影も可能です。ただし、自動車や人の列などが映り込まない場所の方が良いでしょう。

他の注意点は、下記のとおりです。

・衣服は、身体にフィットしたもの、彩度が極端でないものを選ぶ。
・可能な限り、頭部や顔が映り込むように撮影する。
・人と人が接触するような行動（握手やふれあい）は避ける。
・表情を細かく撮影する必要がある場合は、眼鏡や髭、濃いめの化粧を避ける。

「Flow Studio」のここが知りたい！ Q＆A

Q.有料プランそれぞれの違いは？

利用できる機能の有無や、ストレージの容量、動画ファイルのアップロードサイズの上限などがプランごとに異なります。特にチェックしておきたいのが「1ヵ月あたりのクレジット」です。このクレジットを消費することで、動画の生成が可能になりますが、クレジットは都度課金できない仕様となっているため、注意が必要です。

ショート動画を撮影したり、動画の一部のシーンに差し込んでみたいという場合は「Lite」や「Standard」。本格的な撮影動画に利用するのであれば「Pro」を選ぶと良いでしょう。

料金プランの比較はこちら：https://www.autodesk.com/jp/products/flow-studio/compare

Q.一度に複数人のVTuber撮影はできる？

可能です。選択した有料プランによって、一度に撮影できるVTuberの数が変わってきます。「Lite」が2名、「Standard」が3名、「Pro」が4名です。ただし、複数人が重なり合うような映像シーンが多い場合、正しく出力されない可能性があるので、注意が必要です。

Q.VTuber動画以外の利用方法はあるの？

あります！ 人間のモーションデータをしっかり記録できる「AI Motion Capture」モードを選択すれば、身体の動きだけを取り出して、Mayaやblenderなどでのコンテンツ作りに活用できます。また「Animation/Video to 3D Scene」では隠れた部分のモーションを予測してキャプチャしたり、複数のカットで構成された映像からも一連の動きとしてモーションを取得することが可能です。これらのデータをゲームや3Dアニメなどにも利用できます。

Q.他に使える機能はあるの？

今年の2月から、新たにAIを使ったクリエイティブ機能が追加され、文字や絵でイメージを伝えると、3Dキャラクターを生成できるモードが登場しました。ただし、こちらのモードで完成したキャラクターのモデルには、関節を動かすための情報などが入っていないため、そのまま「Flow Studio」のアバターとして使うことは現状できません（アバターを動かすには、Mayaやblenderでの編集が必須となります）。今後のアップデートに期待しましょう。

3Dモデル生成AI機能の詳細はこちら：
https://area.autodesk.jp/column/tutorial/journey-with-flow-studio/03-flow-studio-3d-model-ai/

「Flow Studio」を使ってみよう！

「Flow Stuido」公式サイトはこちら：https://www.autodesk.com/jp/products/flow-studio/overview

撮影協力：佐藤ホーム