アドビシステムズ社は、単眼撮影で立体感のない360度映像を、より臨場感あふれる3Dで動き回ることのできる体験に加工する新しい技術を発表しました。
360度カメラの動きから奥行きを測定
ラスベガスで開催された放送技術の展示会NABにてAdobe代表のGavin Miller氏は新しいソフトウェア技術を発表しました。この技術では、360度の単眼映像を元に容積測定技術を用い、左右に頭を動かしても違和感のないVR体験を作り出すことができます。
さらにこの技術を活用して撮影した映像の“ブレ”を軽減することも可能であり、ハンドカメラでの撮影や船上での映像などを安定化させ、酔いを軽減することも期待できます。
通常、3D映像を測定するためにはカメラを２台横に並べたステレオカメラを使用する必要があります。また、奥行きを測定するためには、さらに特殊な技術が必要とされています。
Adobeの技術はこうした奥行きの再現を、通常の360度カメラで撮影した映像で可能にする点で画期的と言えます。
技術を適用するためには、撮影時にカメラを動かす必要があります。これは、カメラの動きを計算して3Dジオメトリ（空間の座標配置）を推測することで、ビデオの各フレームをキューブマップ（立方体を内側から見るように6つの平面で構成された360度映像）に投影し、さらに各平面にコンピュータービジョントラッカーアルゴリズムを実行することで、二眼映像を再構成しているためです。
実装は未定
まだこの技術も万能なものではありません。カメラを動かす必要があること以外にも、あまりにも位置の測定に使用している物体との位置関係が遠すぎたり、動きが速すぎたりするとうまく3D再構成できない可能性があります。
また、広すぎる色の均一な領域、遮蔽、照明の変化などによって再構成された3Dジオメトリ推測にノイズが発生し、3D化した時に「穴」が発生するといった問題も考えられます。カメラの移動によってジオメトリを推測しているため、時間的に移動するもの（人など）が映っている場合は、正確に再構成されない場合もあります。
6方向の自由度（回転3軸と移動3軸）を持つVR映像を実現するためには現在複数の取組が進行しています。アメリカのスタートアップHypeVRは独自の撮影・編集技術を開発しているほか、Lytro社は空間構造そのものを撮影するライトフィールドカメラを開発中、フェイスブックは奥行き込の360映像を撮影できる360度カメラを発表しています。
この技術が製品としてAdobeシリーズに登場するまではしばらく時間がかかるかもしれませんが、今後VRに最適な「動ける」360度映像撮影が一般的になる日がくるかもしれません。
(参考)
Road to VR / Adobe Shows Method to Create Volumetric VR Video From Flat 360 Captures(英語)
http://www.roadtovr.com/adobes-new-research-aims-give-depth-monoscopic-360-video/
Mogura VRはRoad to VRとパートナーシップを結んでいます。
