Youtubeと同様、世界中で利用されている動画共有サイトのVimeoは、立体的な映像を空間に映し出す3D映像のライブ動画配信のデモを、同社が運営するVimeo Live上で実施しました。Vimeoは2017年に、ライブ動画配信プラットフォームを提供するLivestreamを買収し、ライブ動画配信事業へと参入しています。
SF映画からのインスピレーション
Vimeoはユーザーが手軽で簡単にホログラムのライブ動画配信を実現することを目的として、VimeoのAPIとトランスコード技術を活用したプロジェクトを推進してきました。公式ブログによると、同社のホログラムとホログラフィックのコンセプトには、SF映画から強い影響力を受けているとのことです。
1977年に公開された映画「スター・ウォーズ：エピソード4」では、レイア姫がオビ・ワン・ケノービーに助けを求めるメッセージの送信方法としてホログラムが登場しています。また、2017年に公開した映画「ブラック・パンサー」に登場する「キモヨビーズ」ブレスレットでも、手のひらに人物のホログラムを映し出し会話するシーンが登場しています。
Vimeoは、SF映画の中で活用されるホログラム技術は、人物を映し出しメッセージを伝えることと、人物のコンピューターグラフィック化という2つの描写が主軸になっているという見解を示しています。
一般的に普及してきた3D映像
3Dモデルを現実世界に映し出す技術は、ここ数年にわたるVR（バーチャル・リアリティ）やAR（拡張現実）ヘッドセットの登場のおかげで、身近なものとなってきました。また、まだ発展途上とはいえるものの、最近ではFacebook社が、ニュースフィード上に投稿できる3D写真機能を公開しています。
3D映像のライブ配信の活用例としては、「初音ミク」のライブコンサートに用いられている、特殊スクリーンに複数のプロジェクターを用いてリアルタイムに映像投影を行う手法が挙げられます。
なお、3D映像の撮影には、現在以下の2つの技術のうちどちらかを取り入れる手法が最もポピュラーとなっています。
1つ目は、比較的低価格で使用しやすいといわれているデプスベースのVolumetric動画技術です。この技術では、アップル社の「iPhoneX」に搭載されている「True Depthカメラ」のように、奥行き情報を取り込むデプスカメラを搭載した撮影機器を使用して、各シーンごとに3D立体映像の撮影を行います。その後、通常の動画編集でも行われるように、撮影した素材を繋げてVolumetric動画作品を製作します。Vimeoの公式ブログでは、編集ツールに「Scatter DepthKit」を紹介しています。
2つ目の技術であるVideogrammetry技術は、Volumetric動画技術よりもやや複雑となり、一般的なカメラを複数台使って、同じ対象物をさまざまな角度から撮影します。その後、それぞれの方角から撮影した映像を繋ぎ合わせるため、撮影データをSIFTアルゴリズムというコードを用いて動画を再構築し、3D映像作品を製作します。高レベルな動画を製作するには、何十通りもの角度からの撮影と、非常に多くのデータ処理が必要ではありますが、とても完成度の高い3D映像を作ることができます。Vimeoの公式ブログでは、使用するツールに「Agisoft Photoscan」「RealityCapture」を紹介しています。
これらの技術が進歩する一方で、画像や動画から奥行きを測定して、3Dモデリングを構築するという機械学習技術の研究も発表されています。画像処理を行う機械学習には、Convolutional Neural Network（CNN）と呼ばれる特殊なアルゴリズムを使用し「色」と「奥行き」の相関性を覚えさせることによって、画像や動画から自動的に奥行きを検知することができます。このような機械学習の登場は3D映像を製作する上でとても重要な役割をになっています。ある実例として、米ワシントン大学での研究では、CNNアルゴリズムを使用し、テレビ画面で行われているサッカー試合に出場する選手達を、3D映像へと再構築することに成功しています。
誰でも手軽に始められるVimeoの3Dライブ動画配信
Vimeoでのリアルタイム3D映像配信を行うためには、3Dデータの情報を収集し保存するため、奥行きデータを色へと変換させます。その後、動画形式で読み取れるように色をコードに変換します。RGBカラーで色指定をした場合、下のGIF画像のように、熱分布を表すサーモグラフィのような状態となります。
実際にユーザーがVimeoでリアルタイム3D映像配信を行うためには、月額制のVimeo Live membershipへの会員登録が必要です。また、使用するデバイスはマイクロソフト社の「Kinect v2」やインテル社の「Intel RealSense」「ZED」「Orbec」「Structure」などに加えてiPhoneXの「TrueDepthカメラ」など、奥行きの検知が可能なデプスカメラで撮影を行うことが可能です。今回のVimeoのデモでは、誰でも手軽に簡単に配信できるというテーマに沿って、149ドルという価格でUSB充電も可能な上、すべてのプラットフォームに対応する「Intel RealSense D415」を使用しましたが、動画にはかなりのノイズが発生していました。Vimeoはこの問題を解決するために、3D映像の撮影・加工・編集が行えるアプリケーションの開発を行い、macOSに対応するオープンソース「Vimeo Depth Viewer」アプリケーションの提供を開始しています。
Vimeo Depth Viewerの使い方
ブログ内では「Vimeo Depth Viewer」の使い方を次のように説明しています。
カメラを接続しアプリケーションを開いたら、プレイボタンをクリックします。正常通り設定が完了すればカメラからの映像を受信し、人物と背景を切り離すため、クリッピングパネルの値を変えながらカメラクリップを調整します。
次に、実際の3D映像配信用の高解像度モニターを開きます。Vimeoでは、動画とリアルタイム配信を可能にするオープンソースの無料アプリケーション「OBS（Open Broadcaster Software）」を使用するので、ユーザーは「Vimeo Depth Viewer」で作成した高解像度モニターを、OBSを通して撮影して、Vimeo Live上で3D映像配信を行うことができます。
次の手順で、Vimeo Liveでライブイベントを作成し、Stream Keyを取得します。イベントの作成方法は、サイトにログイン後、イベントを作成、イベント名を入力したら「次へ（Next）」をクリックします。
画面上には、作成したイベントがまだ始まっていないことを知らせる通知が表示されますので、画面下にある「次へ」ボタンをクリックします。画面が切り替わり「Show RTMP URL 」と「Stream Key」が表示されます。Stream Keyをコピーしたら、OBSのエンコーダーへとペーストします。手順は、OBSを開き設定を選択後、Streamをクリックすれば画面が表示されますので、Service欄にVimeoを選び、Stream Key欄に先ほどコピーしたStream Keyをペーストします。
その後、Vimeo Depth Viewerを起動させ、モニター画面を開きます。OBSで配信するモニター画面を設定すれば、Vimeo Liveへ3D映像をアップロードする準備が整います。
次に、Vimeoが開発したオープンソースのWebVRプレーヤーである「Vimero Depth Playe」を使ってライブ配信を読み込み、映像を3Dホログラムにレンダリングします。元となるソースコードが作成されている「Glitch」を使用していきます。まず、Vimeo APIから動画配信をリクエストするときに、アカウント識別のためのVimeoトークンを作成します。作成したトークンは、Glitch上にある.envファイルにペーストします。
その後Glitchファイルブラウザからpulic/ｃclient.jsファイルを開き、line43の「new Vimeo.DepthPlayer(ここ二IDをペースト)」に、自分のVimeo video IDに書き換えます。
IDの書き込みが終われば、Vimeo Live上ですべてのブラウザやVRヘッドセットに向けてリアルタイムで3D映像配信をすることができます。
VimeoのクリエイティブテクノロジストであるOr Fleisher氏は、今回の3Dライブ動画配信の手順を公開することによって、クリエイターやアーティスト、ブロードキャスターやミュージシャンを含む全ての人が使用し、次世代のユースケースを発見していくことへと繋がっていくと考えています。
（参考）Vimeo
