CESA（一般社団法人コンピュータエンターテインメント協会）が主催するゲーム開発者向けイベント「CEDEC 2022」が、8月23日から25日にかけて開催されています。本記事では1日目に開催された講演「ソニーの先端技術紹介」について、XRに関わりが深い「Volumetric Production System」のパートをレポートします。
リアルとバーチャルをつなぐVolumetric Production System
CEDEC 2022では、「リアルとバーチャルをつなぐVolumetric Production System」と題して、ソニーグループ株式会社 R&D;センターの増田徹氏から紹介が行われました。ボリュメトリックキャプチャとは何かという技術概要から始まり、実際に作った撮影スタジオ、ゲームエンジンと組み合わせた制作事例について紹介がありました。
リアルなものをリアルなままバーチャルの世界に取り込む技術
ボリュメトリックキャプチャは、空間を取り囲むようにカメラを配置、そのカメラで空間全体を撮影し、3DCGを生成する技術です。この技術で撮影したデータは3Dになっており、それを2Dのディスプレイで自由視点映像として表示したり、スマートフォンや立体モニター、VR/MRグラスに表示できます。
ボリュメトリックキャプチャは実世界を3DCGデータとして取り込めるため、頭をトラッキングして映像を視聴するHMDと相性が良くXR分野での利用が期待されます。ソニー以外にもMicrosoft、NHK、Canonなどの企業も取り組んでいます。
また、人物を動きのある3Dデータとして扱えるため、3DCGやゲームエンジンと組み合わせて新たな表現ができます。例えば、ドローンやクレーンなどの特殊機材を使うことなく、それらを超えるカメラワーク表現が可能です。
増田氏によると、「CGの世界に人物を取り込むということを考えた場合、『CGモデリングと何が違うのか？』という問い合わせを受けることが多い」とのこと。最大の違いとして、増田氏は「フォトリアルな表現が簡単にできること」を挙げました。例として、フリルの多い服装やのように、不規則な動きをするものをCGモデリングで作ろうとすると、非常に手間がかかり、リアルな再現が難しくなりがちです。しかし、ボリュメトリックキャプチャであれば、空間をそのまま撮影・そのまま再現するので、基本的にはどんなものでも再現が可能になります。
一方、同時にこれはデメリットでもあり、CGモデルであれば可能な「姿勢や服の色や光の当たり方を後で変える」といった処理が難しくなります。増田氏によれば、「ボリュメトリックキャプチャとCGモデリングにはメリットとデメリットがあるので、お互いが補い合うような使い方をすることで、コンテンツ制作の幅を広げられる」とのこと。
次に増田氏は、ボリュメトリックキャプチャを使ったコンテンツはどのような流れで制作されるのかを紹介しました。まず、被写体を取り囲むように配置した複数のカメラで撮影します。この時、シャッターが下りるタイミングが完全に一致していることが重要なポイントです。シャッターのタイミングがズレてしまうと、複数のカメラが異なる時刻の映像を撮影してしまい、カメラ間の整合性が取れなくなってしまうため、シャッタータイミングは同期する必要があります。
次に、複数のカメラの画像から3Dモデルの形状を再構築、そして3Dモデルの色をつくるテクスチャマッピング処理をします。テクスチャマッピングで高品位なデータを作るのに重要となるのは、どの部分にどのカメラの画像を貼り付け、どのようにブレンドするかというアルゴリズム部分です。最後に色付きの3Dデータを視聴するデバイスに合わせて調整することで、3DCGコンテンツができあがります。
7月にボリュメトリックスタジオを新設
ソニーPCLは7月、ボリュメトリックビデオを撮影するためのスタジオを清澄白河BASEに新設しました。新設したスタジオでは、直径6m、高さ3mのスペースで、最大60fpsの撮影が行えます。撮影した映像から3Dデータとレンダリング済みの2Dデータに加えて人物のボーンデータも生成可能。このボーンデータはボリュメトリックデータと完全に一致するモーションデータになっています。
今後はこの新スタジオを、最先端技術で新たな表現手法を追求するクリエイティブの拠点として、想像を超えるコンテンツを作り出していく見通しです。
