OTOY、クラウドでのライトフィールドストリーミング技術を開発中

クラウドでのレンダリングを提供しているOTOY社は、ライトフィールドのクラウド・レンダリング技術を開発しています。

(OTOYのツールでレンダリングしたライトフィールドのシーン。全ての3Dデータを保持し、プリレンダCGIと同じほどの品質でリアルタイムに動かすことができる)

写真に没入できるライトフィールドのVR

OTOYのCEOであるJules Urbach氏は、ライトフィールドこそがVR体験において最適な技術だと確信しています。

ライトフィールドは、空間上の光点を全て記録していく撮影技術です(参考:クリック箇所に再合焦するデモ画像)。

撮影容量の許す限り、写真と同じように精細なシーンを、自由なアングルで見たり、リアルタイムに焦点を合わせていくことが可能になります。

OTOYはライトフィールドがVRの描画における様々な問題を解決する手段だとして、新たにライトフィールドストリーミング技術を研究中です。

ライトフィールドは優れた撮影技術ですが、いくつかの欠点も抱えています。最も顕著なのは、あらゆる光点を3次元的に記録することによる、膨大なデータ量です。

数ギガバイトならいざ知らず、数テラバイトのデータはなかなか扱いに困るもの。特にクラウドでのレンダリングでは、素のデータでは計り知れない通信量になってしまいます。

それに対し、OTOYは圧縮アルゴリズムに加え、フォービエイデッド・レンダリング(中心窩適応レンダリング)のようにユーザーが見ている部分のみレンダリングする技術によって、1.5Mb/sでのクラウド処理に成功したとしています。

これは動画配信サービスNetflixの通信量に比べても大きく下回り、スマートフォンでのストリーミングも楽々と実現できます。

デモ(上記の画像)では、奥のスマートフォンに写したARマーカーを読み取り、マーカー部分を窓のようにして奥の風景が見えています。

奥のスマートフォンを傾けるとその角度に応じて風景が変わり、実際に道路が奥へ続いているように見えます(より詳しい動画はこちら)。

写真では実現できない再合焦や視点の変更も、ライトフィールドでは可能となります。

OTOYのツイートでは、ライトフィールドストリーミングを同社が提供するメディアプレイヤーORBX Media Playerの次のアップデートから実装することを示唆しています。

※Mogura VR は、Road to VRとパートナーシップを結んでいます。