現在発売中の360度カメラ「Insta 360 X6」。8K50fpsの360度全景映像を気軽に撮影できるInsta 360のフラグシップモデルだ。映像データから好きなアングルを選んで編集する機能も備わっており、スポーツやアウトドアの迫力ある映像を撮影するといった用途で非常に人気がある。
特に「Insta 360 X6」では新たにふたつの環境光センサーを搭載したことで夜間の撮影に強くなっており、どのようなシチュエーションでも色鮮やかな周りの風景を映像に収められる。また360度風防マイクが搭載されているため、屋外の雑音が多い環境でも音がクリアに記録できる点も特徴で、Mogura VR編集部でも映像記録や撮影に利用したが、これ一台あればとにかく映像と音に関しては安心して記録できた。
ところで、この「Insta 360 X6」のような高性能カメラがあれば、ぜひ試しておきたい機能がある。それが今年の8月に公開された新機能「空間キャプチャ」だ。なんと「Insta 360」のスマホアプリを使って、収録した動画データから、3Dガウシアンスプラッティングによる空間表現が可能になるのだという。つまり「Insta 360 X6」を、空間の3Dスキャン用途でも利用できるかもしれない……ということだ（※この機能を利用できるカメラは現在X6,X5,X4,Airのみ）。
（3Dガウシアン・スプラッティングの詳細は下記に掲載）
3Dガウシアンスプラッティング形式に対応した3Dスキャナーは、現状では非常に高額な機器が多い。Niantic Spatialの提供する「Scaniverse」や、スキャナーとしては比較的廉価なXGRIDS社の「PortalCam」といった選択肢はあるものの、「撮影した360度動画から自動的に空間をキャプチャできる」という点で、その気軽さは非常に魅力的だ。機器そのものがハイスペックであることから、3Dスキャンの精度にも期待ができる。
そこで今回「空間キャプチャ」機能を改めて試してみた。その所感をレポートする。
「空間キャプチャ」を試してみた
先に注意を。「空間キャプチャ」は現在ベータ版という扱いで、開発は今も進行中だという。そのため、今後利用条件が変更される場合があるそうだ。月4回まで利用可能で、アプリ内のクレジットを支払う必要がある（利用回数は毎月1日にリセットされる。クレジットの有償購入は可能）。出力した3D空間のデータを特定のファイル形式で書き出すことは出来ない。スマホアプリやブラウザからの閲覧のみが可能という点もあらかじめ押さえておいて欲しい。
さて「空間キャプチャ」を試してみよう。必要なのは、360度の動画データだ。録画モードを「360度ビデオモード」に設定。録画の解像度は5.7K、フレームレートは30fpsが推奨（※Dolby VisionやiLogモードは非対応）なので、あらかじめ設定しておこう。
今回は移動する人や自動車などのない空間で撮影した。これは「空間キャプチャ」モードに限らず3Dスキャンする際の基本知識だが、出来る限り動き回るモノが映る空間は避けた方がいい。また、空間全体をキャプチャする都合上、意図しないものまで映るような場所になっていないか、事前確認が必要だ。
映像の手振れなどを出来る限り抑えるため、できれば自撮り棒的なものやジンバルなどでカメラを固定しておくと良い。あとは、スキャンしたい空間をゆっくりと撮影していく（早すぎると当然スキャンもブレる）。広い空間であれば円を描くように、障害物があるならS字を描くようにしながら、まんべんなく映像に収めておく。なお「空間キャプチャ」で利用できる映像データの時間は30～120秒までとなるので、時間も気にしつつ、ゆっくりとスキャンしていく。
まんべんなく撮影できたと思ったら撮影終了。その後の処理はスマホアプリ側で行う。まず、アプリを立ち上げた状態で「Insta 360 X6」をスマホと無線接続。「アルバム」から「空間キャプチャ」をタップして、出力したい動画を選択しよう。アプリへの映像データの取り込みには多少時間がかかるので、選択肢にすぐ出てこない時も待った方が良い。どうしても出てこないときは、先述の条件のいずれかが引っかかってしまった可能性がある。
無事、映像を選択できたら、後は生成ボタンを押すだけ。この時点でも生成には時間がかかるので気軽に待とう。著者の場合は2分の動画の生成で、だいたい1時間ほどで完了したが、他のユーザーが同じクラウドで作業している都合上、多少変動するようだ。
さて、完成した3Dガウシアン・スプラッティング出力のデータがこちらだ。画像だけでは伝わりにくいと思うので、可能であれば、ブラウザから閲覧してみて欲しい。
感動ものだ。約2分間、グルグルとスキャンしただけで、これだけオブジェクトの致命的な破綻がほぼ無く、空間全体を鮮明にスキャンできるとは思わなかった。3Dスキャンは広い空間であるほど、どうしても遠景が微妙に映ることが多い印象だが、「Insta 360 X6」のカメラとしての性能の良さが影響したのか、こちらが注意してカメラを向けていない場所まで、きれいに再現ができている。
もう一点興味深かったのは、撮影者の姿が処理中にきれいに取り除かれている点だ。360度カメラは前後にレンズが搭載されている都合で、どうしても使用者の姿も映ってしまうのだが、上記の空間を見る限り、使用者の姿は確認できない。これはアプリ側の人の姿への認識が正確だったということだろう（生成はKiri Engineの技術が利用されている）。
スキャンしたデータをカメラを操作して自由視点で見られる点も良い。この形式であれば、
3Dガウシアン・スプラッティングという技術を知らない人であっても、すぐにその凄さが分かりやすい。アプリでは「粒子」「波紋」など、少し特殊な映像演出で楽しめるモードも備わっており、その違いを比べるのも面白い。
もちろん、完璧な3Dスキャンがいつも出力されるわけではない。例えば、階段の手すりや橋の柵など、細い棒が連なっている形状のものは、スキャンがかなり難しかった。また、光が十分に当たらない場所でのスキャンも残念なものが出力される結果となった（こういった箇所では何度も往復したほうが良いかもしれない）。他にも、時折撮影者の顔や姿が入り込んでしまうといった結果もあった。これらは3Dスキャンの撮り方の技術によって解消する可能性もあるので、撮影時には複数のパターンを収録しておいた方がいいだろう。それでも尚、「Insta 360 X6」のスキャンはかなり高クオリティになるという結果が得られた。
一刻も早くアップデートで書き出しに対応して欲しい
3Dスキャンの結果にはとても満足のいく結果が得られた。その一方でやはり、課題と感じられたのは、先述した「特定のファイル形式での書き出しができない」という点だろう。ここの部分さえ解決すれば、「Insta 360 X6」が、360度動画撮影カメラとしてだけではなく、ハイスペックの3Dスキャン機器としても非常に有用なデバイスになることは間違いない。例えば、スキャンしたデータをダウンロードして、ゲーム用の素材として活用したり、VRChatなどのメタバースにそのまま空間として再現したり、あるいは、空間を閲覧するサービスとしてビジネス用途での利用も考えられる。
現在も「空間キャプチャ」の開発は進行中とのことなので、この点を解決するアップデートを待ち望んでいる。編集部では、今後も「Insta 360 X6」での空間キャプチャの可能性について迫っていきたい。
