2Dの映像から3DモデルをARで再現し、まるで映画の世界にはいったかのような体験ができるツールが話題になっています。
映画編集者であるOr Fleisher氏、映画監督であるShirin Anlen氏らによって開発されている「Volume」と呼ばれるこのツールでは、現在、実験段階である者の、2D映像から3Dシーンを再構成する機能を明らかにしています。
Webソリューションとして設計
「Volume」ではCNN（畳み込みニューラルネットワーク）と呼ばれるディープラーニングを使用して、2D映像をARでできるだけ現実的に再現しようとしています。
2D映像を3Dに変換する機械学習アプリケーションとしては初めてのものではありませんが、このプロジェクトはほぼすべてのスマートフォン、ノートパソコン、タブレットなどで使用可能なWebソリューションです。
Fleisher氏によると「映画『パルプ・フィクション』を使った私たちの実験では、アップルのARKitフレームワークをiPadで使って、拡張現実の映画のシーンの中に入ることができます。この実験は、現時点で実施している数少ないものの1つで、2D画像から3Dシーンを再構成する能力を示しています。「Volume」と呼ばれるこれらの実験を作成するために使用されるツールの開発の主な動機の1つは、アーカイブと静的な映像を3D環境に再構築できる可能性です。」とのこと。
現時点では、完璧に2D映像から3Dとして完璧に取り出すことはできません。しかし、今後この技術が発展し、課題が解決されていけばVR/ARの分野でも利用できることが期待されます。
（参考）
AI rips objects from video and reimagines them in 3D AR/Thenextweb（英語）
https://thenextweb.com/artificial-intelligence/2018/01/22/ai-rips-objects-from-video-and-reimagines-them-in-3d-ar/
