Home » W杯会場は自宅の机?試合の動画を3Dに変換する技術の開発進む


AR/MR 2018.06.14

W杯会場は自宅の机?試合の動画を3Dに変換する技術の開発進む

6月14日に開幕する2018 FIFAワールドカップ(W杯)。多くの人は、テレビ画面で試合中継を観戦するでしょう。

しかし、この観戦方法は、次回のW杯からは変わるかもしれません。ワシントン大学の研究者らは、ARを使って机の上などにピッチを再現、試合観戦ができるアルゴリズムを研究しています。

[ads]

好きな角度からバーチャルピッチを観戦

研究者らが開発しているのは、2Dの試合場面を3Dに再構築する、機械学習のアルゴリズムです。3D映像の視聴には、マイクロソフトのHoloLensのようなAR/MRデバイスを利用します。この技術を使えば、自宅の机の上にバーチャルなピッチを創り出せるとのこと。視聴者は机の周りで、自分の好きな角度から観戦することができるのです。

(動画はこちら

残念ながらこの技術は、2018年のW杯には実用化が間に合いそうにありません。しかし未来のスポーツ観戦を変えるヒントになりそうです。

もちろん試合会場で直接観戦するのとは別物ですが、テレビで見るよりははるかに臨場感があります。そして、海外の会場に足を運ぶことに比べれば、ずっと安く体験できます。

必要なのはYouTube動画だけ

研究者の一人 Konstantinos Rematas氏は、「我々の目標は、スポーツ観戦の質を高めることです」と話しています。そして「この技術では、元の動画を3Dに変換し、ARで見られるようにします。重要な点として、試合が3Dで再現されるということです。つまり、視聴者は好きな場所に動いて色々な角度から観戦可能です。これにより、一層没入感が増します」と説明しています。

研究者らは、ARを作るのに必要なのはYouTubeのサッカー動画だけ、としています。ただし2D動画を3Dへ”アップコンバート”するアルゴリズム構築には、さらに奥行きに関するリソース(情報)が必要でした。そこで、エレクトロニック・アーツのゲーム「FIFA 18」を使い、深度計測を学習させました。こうして、プレイヤーがピッチ上のどこにいるか、3次元の情報を正確に予測することが可能になったのです。

ボールの位置再現、プレイヤーの3D化が課題

現在、このシステムはまだ開発の途上にあります。たとえば、ボールの位置を正確に再現することができません。またプレイヤーの画像は、2Dの切り抜きのように浮かび上がってしまいます。

研究者らは、こうした課題を解決を考えています。Rematas氏は、「次のステップは、ゲーム映像の再構築の質を上げること」とし、「特にボールの位置を正確に再現し、より鮮明にプレイヤーを3D化したいです」と話しています。

またRematas氏らは、このシステムをバスケットボールやホッケー、アメフトといった他のスポーツにも応用する計画とのこと。

2022年のW杯は、自宅でAR観戦できるかもしれません。ARを使ったスポーツ観戦の例としては、全米男子ゴルフツアーのAR観戦アプリが実用化しています。

(参考)Digital Trends


VR/AR/VTuber専門メディア「Mogura」が今注目するキーワード