NHKが研究成果を公開する「技研公開2024」。今年も5月30日から6月2日まで、東京・世田谷にあるNHK放送技術研究所で開催されました。
展示内容は、NHKの主力「テレビ映像」に関するものだけではありません。ホログラム撮影やARグラスを使ったシステムなど、3DやXR領域の研究開発でも多くの展示が行われています。本記事ではXR関連の展示や、筆者が興味深いと思った展示をご紹介します。
一覧性に優れた「ARグラス型ニュース提示システム」
ARグラスを使うことで、現実空間を見渡しつつ、多くのニュースタブを3次元的に表示できるようにした「ARグラス型ニュース提示システム」。ARグラスが普及した未来における、コンテンツ消費のスタイルを模索したものと言えます。
ニュース記事やタブの位置は、同じ場所にいる複数のユーザーで共有できる仕組み。他のユーザーのそばにあるニュース記事タブに近づいて自分も閲覧できるシステムでした。すると、NHK技研が想定するARグラスとは、前後左右の移動もできる「6DoF」かつ、手で操作できる(ハンドトラッキング技術を採用している)ができるデバイスなのでしょう。
デモで使われていたのはVR/MRヘッドセット「Meta Quest 3」。充電の手間を減らしつつ、短時間・手軽に体験できるように、バッテリー内蔵のハンドグリップが採用されていました。
VRヘッドセットで体験する「体感!できるかな2030」
1970年から1990年まで放送されていた、子供向け教育番組「できるかな」。この「できるかな」をもとに作られた「体感!できるかな2030」は、VR機器が普及した時代に「空間」をどう放送するかを模索しています。
「できるかな」の有名キャラクター「ノッポさん」は3Dキャプチャされており、ゲームエンジン上で動作しています。これを他の3Dモデルや映像効果と組み合わせることで、VRヘッドセット向けコンテンツとして仕上げられていました。リアルタイムでいきいきと動くノッポさんを、VRで「体験」できます。
「放送現場クオリティ」を実現する「ボリュメトリック映像制作支援技術」
NHKは「ボリュメトリックキャプチャ」技術にも注目しています。この技術には、人体の動きに加え、服の細かな動きなどもキャプチャできるため、演者や制作スタッフの負担になりづらいというメリットがあります。他方で映像品質を向上させるためには並々ならぬ努力や、高額な機材のセットアップが必要。これらの課題を克服すべく、NHKは研究開発を進めています。
NHKは、従来方式のボリュメトリックビデオで起こる課題「映像クオリティが低品質」「共演者やセットが配置されないので、演技がしにくい」を解消すべく、25~26台の4Kカメラを、直径8メートルの半球ドームに配置した専用スタジオを常設しています。
課題のひとつ「映像のクオリティ」に関しては、色の見え方を写実的に再現するべく、法線や色、3D座標に加えて、サーフェスライトフィールド、鏡面反射係数、拡散反射係数といった詳細なデータを取得。AIによる補完を行うことで、よりリアルな表現が可能になりました。実際に、「体感!できるかな2030」で見たノッポさんとゴン太くんは、あたかもその場にいるかのような息遣いを感じられるほどのクオリティに達していました。
NHKは、「多くの演者と同時に撮影できない」「他の機材が置きにくい」という制約の解決も試みています。例えば「二人でキャッチボールをする」演技は、どうしても1人ずつの撮影となってしまうため、タイミングを合わせにくくなってしまいます。そこで、現在の状況が把握しやすくなるよう、スタジオ下部に複数のプロジェクターを設置。グリーンバックの上部に撮影済み映像を投影することで、他の演者の動きに合わせた演技ができるよう工夫しています。
ヘッドホンで体験する「イマーシブメディア用の音響技術」
NHKは、XRコンテンツにおける音響技術の研究も進めています。この「イマーシブメディア用の音響技術」の展示では、自分の立っている位置や、向いている方向によって音の聞こえ方が変わります。それを視覚的に分かりやすくするため、ヘッドホンで体験できる「イマーシブメディア用音響レンダラー」が使われていました。
解説員さんがトラッカー付きの「ななみちゃん」を持ち歩くと、お客さんの会話や店員同士の会話、環境音など、いくつもの音声信号が重なった、リアルな音が耳に入ってきます。バーチャル空間内に音源を配置し、ユーザーの位置や向きを基準にして音を「レンダリング」しているのです。
舞台全体を見渡しながら、立つ場所によって聞こえる内容が変わってくる。俯瞰視点で楽しむオーディオドラマといった仕立てが面白いコンテンツでした。
情感も画面上で表現する「音楽の可視化による新しいコンテンツ表現」
XR領域と直接の関係はないかもしれませんが、個人的に興味深かったのはこの「音楽の可視化による新しいコンテンツ表現」です。
メタバースプラットフォーム「VRChat」や「cluster」では、多くのアーティストが音楽と視覚的な表現の融合に取り組んでいます。一方、その手法の多くは記録済みのデータ再生や、演奏音の音域やリズムに合わせてCGが生成される、いわばオーディオビジュアライザーの仕組みを使っています。
NHKは既存のオーディオビジュアライザーの進化系として、演奏曲のフレーズや音楽の理論・技法などの構造情報を解析。そこから生まれていく「情感」の印象とマッチする、可視化コンテンツの生成に取り組んでいます。
音楽が生み出す情感が視覚的に見られるようになれば、「楽しそうに弾く」「悲しそうに歌う」といった歌唱技術の普及にも繋がりやすくなるでしょう。将来的には番組での使用を目指しているとのこと。
NHKが考える「理想的なXRヘッドセットの視野」が体験できた、「周辺視野の知覚感度特性」
NHKの研究によれば、人間が眼球を動かしたときの視野の広さは水平240度に及ぶそうです。しかし高解像度(=高PPD)が必要なのは、おおむね120度の範囲で大丈夫。120から240度のエリアは、わずか4PPDほどの低解像映像にしても気にならない、といいます。
これを受けて、NHKは「120度までの『有効視野』、120から240度の『周辺視野』を表示できる」仕様を、理想的なXRヘッドセットに求められるスペックとして定義。これを擬似的に体験できるシステムを展示していました。
実際の展示は、中央に座る体験者を取り囲むようにディスプレイを配置し、向いている方向に合わせて表示エリアを切り変えていく仕組みです。市販XRヘッドセットの視野はまだまだ狭いものだと実感できるものでした。
表示制限を解除し、240度の視野に切り替えると、没入感は一気に高まります。大きな映画館の前のほうの席に座っているときの感覚、が一番近いです。これほど広視野のコンテンツを作るのは難しいだろう、と考えながらも、注目が高まり続けているVR×観光分野でも求められていく技術展示ではないかとも感じました。
ここで、「120度まで」の有効視野と、「120度から240度」の周辺視野の境目となる映像の品質も確認してみました。
写真として撮影すると著しい差があることがわかるのですが、いざ体験してみると、有効視野内のシャープな映像と、周辺視野のぼやけた描写との違いは、確かにほとんど感じ取れません。
XRヘッドセットで240度の視野を実現するにはどれだけの大きさ・重さとなるのかも気になるところですが、将来的にはこのスペックを満たすデバイスが誕生して欲しいと願える、そんな展示でした。
(了)