今回は、コンピュータビジョン技術を用いて、撮影した動画から現実空間を3次元データ化し、VRHMDを装着して自由に動き回って見られるVR動画を撮影しているHypeVRの取り組みを紹介します。彼らはこの撮影をVolumetric VR動画撮影と呼んでいます。
※本記事は、米VRメディアRoad to VRの体験レポートを参考に執筆したものです。
360度動画の問題点を克服する“Volumetric VR動画撮影”
近頃、360度動画が増えています。うまく撮影しているコンテンツをVRヘッドセットを使って見ると、かなりの没入感とともに視聴できます。しかし、現在の360度動画は、視点がある1点に固定されてしまうという問題があります。これはリアルタイムレンダリングされたVRゲームとは異なり、ビデオの中を歩くことはできません。例えば、頭を少し動かしただけでも現実の位置は変わっているのに、ビデオの視点は変わらない結果、没入感が阻害されます。
この問題を解決しようとしているのが、HypeVRが取り組んでいるVolumetric VR動画撮影です。今までは、1フレームに1枚の360度写真を繋ぎ合わせて動画を作成していましたが、各フレームのシーンにおけるボリュームデータ（3次元データ）をキャプチャーすることでユーザーがビデオ内を移動できるようにします。
CES2017のインテルの基調講演では、インテルと共同で作成したHypeVRのサンプルビデオを見るとかなり躍動感のあふれる体験ができました。Oculus Riftを被ると、ベトナムの美しい谷の風景が写る30秒の動画です。湖の真ん中の小さな島の岩の上に立っていて、岩のすぐそばには緑豊かな野生の草で覆われており、少し離れたところに水牛と農民がいました。
遠くには熱帯雨林の葉と湖に流れ落ちる滝が見え、とても鮮やかで鮮明でした。これまでの360度動画よりも没入感がありました。動き回っても適切な視差で体験できたので、実際にその場所に立っているかのように感じました。
※Mogura VR編集部注：Mogura VRでも同動画を体験しましたが、まるでその場にいるような感覚はこれまでの360度動画の「現実のようで、動けないためにどこか現実ではなく球体上の動画を見ているかのような感覚」を感じず、360度動画のあり方を進化させるもののように感じられました。
今までも、写真測量技術を用いて作られたVR空間を体験したことがありますが、この技術は複数の角度から多くの写真を取り、1つのモデルにまとめあげる必要があります。この場合、静止しているオブジェクトに対してはモデルを生成できますが、動くものには対応できません。一方、HypeVRは高品質なビデオ撮影と、LiDARによるデプスキャプチャーを合わせながら毎秒60回撮影できます。その後、ビデオからのテクスチャデータとデプスマップを合わせて、1秒間に60のボリューム（体積）をもつフレームを作成します。Volumetric撮影の”フレーム”は、実際にリアルタイムでレンダリングされたシーンの3Dモデルのことを指します。
まだ課題も
HypeVRはVRビデオの未来をうかがわせてくれますが、依然として解決すべき問題もあります。
例えば撮影時にオブジェクトの裏にあって撮影されない影の問題があります。通常、あるオブジェクトをカメラで撮影するとき、撮影される反対側はカメラに映らず影になります。HypeVRの場合、デプスをLiDARを使ってキャプチャーしているため、キャプチャーできないデプスの穴が生じてしまいます。この問題に関しては手作業で穴を埋めるようにテクスチャを貼ったり、新たな3Dモデル（現実環境から取り込んだ）を空間に追加して穴を隠すといった方法で解決しようとしています。
また、パニングといったカメラを動かした場合の処理はより複雑になります。まだ、HypeVRはカメラを素早く動かすような撮影はしていないということでした。
また、保存された動画ファイルのサイズも巨大です。HypeVRは14台のRED製カメラを用いて6Kかつ60FPSで撮影しています。これにLiDARのデプスマップを合わせて3次元シーンを構成します。HypeVRでは30秒で2GB使用しているとのことですが、これでも以前の30秒で5.4TBよりも大分改善されています。しかし、より最適な圧縮を行いファイルサイズを削減し、ユーザーが動画をダウンロードする時間を削減することは重要です。
以上のようにVolumetric VR動画撮影には解決すべき問題はまだありますが、HypeVRは、問題を解決しながらVRビデオを実現することが可能であることを実証しました。今後より複雑な撮影技術を使いつつ実用的な製作時間にするために、よりスマートな技術の開発が必要です。このVRビデオ内に入って動けるというニーズは大きいと考えられます。今後のHypeVRの動向に注目です。
（参考）
Believe the Hype: HypeVR’s Volumetric Video Capture is a Glimpse at the Future of VR Video – （英語）
http://www.roadtovr.com/believe-hype-hypevrs-volumentric-video-capture-glimpse-future-vr-video/
※Mogura VR は、Road to VRとパートナーシップを結んでいます。
