7月31日、とあるショート動画がSNSに投稿され、大きな注目を集めました。等身大のキャラクターパネルからヒョコっと3Dモデルのキャラクターの姿が映ったかと思うと、そのまま現実側にヒョイと飛び出してきたのです。
STYLYと等身大パネル組み合わせてARコンテンツ作ってみた。現実側にぬるっと出てくるわ#STYLY #vtuber pic.twitter.com/VIPjbiB2sa
— YORIMIYA (@jav6868) July 31, 2022
この驚きの映像を制作したのはXRクリエイターのYORIMIYAさんです。これまで、MRデバイス「Hololens」を活用したMR系動画を多数制作しており、今年の7月に自身のVTuberの姿を発表して以降は、アバターを利用したショート動画も複数発表しています。またホロライブ所属VTuber湊あくあさんのワンマンライブ2022「あくあ色 in わんだ～☆らんど♪」のVisual Effect部分を担当していることでも知られています。
【制作報告】
湊あくあ ワンマンライブ2022「あくあ色 in わんだ～☆らんど♪」にてVisual Effect担当しました！
とても楽しかったー！！ありがとうございました！！#湊あくあソロライブ pic.twitter.com/vomnWXKwZ5— YORIMIYA (@jav6868) January 28, 2022
今回はそんなYORIMIYAさんに、話題となった動画の裏側やコンテンツ制作のモチベーションについて詳しい話をお聞きしました（※メールインタビュー形式での取材です）。
YORIMIYAさんインタビュー
――今回投稿されたARコンテンツはどのようなかたちで作成されたのでしょうか？
YORIMIYA：
投稿しましたARコンテンツは、ざっくり“Unity”を使用してコンテンツ制作を行い”STYLY”へアップロード→スマートフォンアプリ”STYLY Mobile“を用いてリアルタイム撮影してます。より具体的にお話ししますと、「3Dモデル」「AR演出」「等身大パネル」の3つの領域に分かれており下記の手順で制作しています。
・「3Dモデル」→YORIMIYAワンオフの3Dモデルを使用。モーションは【バーチャルモーションキャプチャー×EVMC4U】＆【VRChatのHUMRワールド×HUMR】の2つを使用して複数キャプチャー → 各ツールのメリットのいいとこどりをしてanimationを一部Mixしています。
・「AR演出」→こちらは“Unity ParticleSystem”を主に使用しています。いわゆるVRChatの”パーティクルライブ”で培った技術を主に使用しています。全体的なUIデザインもですが「2Dの動くARパネル→3Dモデルが出てくる」という演出のアイディアも製作途中で思いついて入れました（引用リツイートで「貞子みたい」という意見があり「たしかに…！」と思いました笑）。
2Dの絵から3Dモデルが出てくる部分に関しては想像以上に調整が大変でして、Timelineのタイミング、ARオクルージョン、VRM揺れものの制御ギミックなど”あまり目立たない部分”で様々な技術/機能が動いています。
・「等身大パネル」→等身大パネル制作サービスを行い発注→等身大パネルをiPhone LiDARスキャンを行いリアルのサイズ感を把握するために、MeshをUnityへインポート。アテ素材として使用しました。この当てMeshが非常に大事でして、この工程がないとUnityで構成した演出のサイズが現実側の等身大パネルと合わない可能性がありますので、必須の工程です。
この素材を参考にオクルージョン用オブジェクトを作成しています（現実側の等身大パネルをレンダリングしない用のオブジェクトです）
そして、Unity上で作成したコンテンツをSTYLYへアップロードし、リアルタイムで現実空間にコンテンツ設置→撮影した流れでございます。ちなみに、このコンテンツ制作は等身大パネルが届いた当日にモーションキャプチャー＆AR演出＆撮影等すべての実装を5時間ほどで行いました。
数年前に比べてXRやVTuber周りの技術的な情報やTipsがたまってきて敷居が下がっているのを肌で感じます。ソフトウェアや技術情報が豊富にあるのでみんな一緒にコンテンツ作りましょー！
――撮影にはどのような機材を利用されているのでしょうか？
YORIMIYA：
撮影にはiPhone12Proを用いています。STYLY MobileではLiDAR搭載端末だとARの空間認識がかなり良くなるため私の投稿するスマートフォンAR系のコンテンツはいつもiPhone12Proを使用しています。
また「DJI Osmo Mobile3」というジンバルを使用して手振れが起こらないように撮影しています。
――かなり本格的なコンテンツですが、作成のきっかけはどういったものでしたか？
YORIMIYA：
この等身大パネルの発注に数万円かかっています笑。数年前から【XR × VTuber】という組み合わせは非常に大きな可能性を感じておりまして、その実験の一環で本コンテンツも制作（※趣味）しています。
このコンテンツ制作の背景として、今年の1月に”湊あくあワンマンライブ”が豊洲PITで行われまして、私がVisualEffect担当として制作陣の1人だったのですが、ライブ当日会場に行くとVTuber毎度おなじみの等身大パネルが置いてあり、非常に大勢の来場者が写真を撮っていました。
そのときに「ただ、写真をとるだけはなんかもったいないなー」と感じまして「この等身大パネルからタレントさんが出てきて『今日は来てくれてありがとう～～』のような文言を喋る来場者限定のARコンテンツあったらめっちゃ楽しいだろうな……」というアイディアの原案がでました。
また、大勢のお客さんが目の前のパネル実物を見るよりも”スマホをかざして写真を撮ること”に集中していたので、どうせなら「スマホをかざす意味をより見出すためにARコンテンツとして等身大パネルが””存在””した方が面白いよな」という思いもありました。
――特に力を入れたポイントもお聞かせください。
YORIMIYA：
「2Dの動く絵から3Dモデルが”ぬるっと”出てくる部分」でございます。この表現を行うためにモーションキャプチャーの段階から「現実世界にはここにパネルがあると想定して～～」という脳内イメージだよりにキャプチャーしたり、内部的なTimelineの配置も制作コストが下がるような対応を考えて作っています。
なので、やろうと思えば”個人VTuberでも作れる範囲内の技術と機材”で作っています（viconやOptiTrack等業務用モーションキャプチャーを使用する場合は空間内に等身大パネルを置いたりしていますが、個人宅にはそのようなスペースも機材もないため、脳内イメージでいつも対応しています笑）。
――以前の動画では射撃やバッティングなどの様子も撮影されていますが、それらのアバターを利用した動画制作はどういったスタイルで行われたものでしょうか？
バッティングしようよ！！！ pic.twitter.com/S0huQKKMDV
— YORIMIYA (@jav6868) July 28, 2022
シューティングレンジ pic.twitter.com/Ol6zu5bKJX
— YORIMIYA (@jav6868) July 23, 2022
YORIMIYA：
こちらもUnity上でシステムやタイムラインを組んでレンダリングしています。制作方法は等身大パネルARとほとんど同じでワンオフ3Dアバターを使用し、上記のモーションキャプチャー2種を使用してキャプチャー→Timeline上で animationを適用しています（部分的にmixしています）。
特徴的な”スマートフォンで撮影したかのようなカメラワーク”に関してですが、こちらはまだ技術的なワークフローが確立しておらず、実験的な部分も多いため今リアルタイムで知見をためている状況です。
現在、本動画のような映像を作る具体的な制作手順動画を制作していまして、追々Twitter＆YouTubeで公開予定ですので、そちらを見ていただけると、すぐ制作手順含めて把握できると思いますので、お楽しみに！Twitterフォローよろしくです！
――今年の7月にオリジナルの3Dモデルを発表されましたが、導入のきっかけはどういったものでしたか？ ご自身の3Dモデルを今度どのように活用していきたいかもお聞かせくださると幸いです。
YORIMIYA：
今年の7月15日にワンオフアバターを使用した”3D化”という動画を公開しました。もともとVTuber関連の技術や知識が好きなので「私の思い描くVTuberの未来」のようなデモや世界観をオリジナルのコンテンツで発信したい思いがあり、その流れで思い切って制作しました。
【祝】なんと！！3Dになりました🎉🎉🎉🎉🎉🎉🎉🎉🎉
これから色んな動画作っていきたいと思います！！！！！！#Vtuber #VRChat #3D pic.twitter.com/N4OwjgjAFQ— YORIMIYA (@jav6868) July 15, 2022
なので、いわゆる「一般的なVTuberな生配信や動画制作で使用する」「VRChatでアバターとして使用する」という想定は一切なく、あくまでVTuber関連の技術的なデモやXR関連のデモ、”こういう世界観のVTuber映像あったらおもしろい/素敵だよね”のようなアプリ/映像コンテンツ発信で活用します！
――これまでにも様々なバーチャル関連のコンテンツを精力的に発表されていますが、そのモチベーションとなっているものは何でしょうか？
YORIMIYA：
これまでにHololensを使用して”未来のARライブはこうなる！”のようなARデモや、Hololensとサバゲーと組み合わせたARサバゲー等ふくめたあらゆるXR系のデモは「次世代のAR/MRバーチャルライブの未来を見たい」というモチベーションで動いています（前者はグラス型AR/MRデバイスにおけるライブ演出の技術的な要件や演出の幅の把握のため、後者はAR/MRライブのマルチプレイヤー、かつ体験者側の技術的な要件や仕様の把握が根底にあります）。
また、2018年から”パーティクルライブ”というUGC型プラットフォームで体験可能なVRコンテンツを現在も作っていますが、”将来的にAR/MR対応プラットフォームが出てきたとき、このライブ演出における表現の幅を広げるため”に続けていたりします。
すべてのXRコンテンツ＆XRデモは「グラス型AR/MRデバイスにおけるバーチャルライブの可能性と未来を見たい」というモチベーションが主であります（※ソードアートオンライン オーディナルスケール”ユナのライブ”が最も近いです）。
――MRデバイス「Hololens」を利用したコンテンツを多数発表されていますが、YORIMIYAさんから見た「Hololens」の魅力とはどういったものでしょうか？
HololensでドミネーターUI作ってみた！！！！！！！
犯罪係数も測れるよ#Hololens pic.twitter.com/hspkD8rROs— YORIMIYA (@jav6868) June 3, 2022
YORIMIYA：
最近はMeta Quest 2等のビデオシースルー型のデバイスでARコンテンツの開発もできるようになりましたが、やはり私はHololensを選びます（笑）。
理由として、①光学シースルー型のデバイスであること、②単体のHMDで位置トラッキング性能がトップクラス、③空間マッピングの機能があること、④開発コミュニティーが盛り上がっていることの4つです。
どれもHololensにしかない部分ですので、みなさんも是非買いましょう！！！ 今後のXR界隈において本体価格以上の経験や知識が身につくと確信しています。
――今後もバーチャル関連のコンテンツは発表していく予定でしょうか？
YORIMIYA：
もちろん発信していきます。そのために3Dモデル発注や必要な機材を購入しています！
現在進めています”VTuberがリアルで存在しているような映像制作”のもっと面白いストーリーや”等身大パネルからVTuberが出てくる”のようなXR系コンテンツ開発は引き続き行っていきますが、まだVTuber界隈、XR界隈にないようなデモ＆映像＆表現に関してはもうほんと常に考えています（笑）。
今のところ具体的な新しいアイディアはまだ出ていないのですが、今後発売されると想定されているMetaのProject Cambria、AppleのARグラスやGoogleのデバイスなど技術的な仕様の中から着想を得る部分もあるので、はやく出ないかなと思っています！
――ありがとうございました。
YORIMOYAさんのこれまでの制作物の詳細は下記のツイートをご覧ください。
https://twitter.com/jav6868/status/1345169966799020032
