最新技術で「体験する」国宝 風神雷神図屏風を3Dキャプチャされた僧侶がガイド

現在様々な分野において活用が研究、実践されているMR（Mixed Reality/複合現実）。ビジネスや工業での利用が進む一方、MRデバイスを持たない個人に向けたコンテンツは、まだまだ少ない状況です。

そんな中hakuhodo-VRARは、国宝である『風人雷神図屏風』とMR技術を組み合わせた新しい学習体験「MRミュージアム in 京都」を一般公開、その発表会が2月21日に行われました。まだまだ少ないMRコンテンツというだけでなく、国宝を扱うビッグプロジェクトということで、多くの注目が集まっています。本記事ではこの発表会、および「MRミュージアム in 京都」の体験内容についてレポートします。

HoloLensを使って国宝体験 「MRミュージアム」が一般公開

日本マイクロソフトは、博報堂らのVR・AR機関「hakuhodo-VRAR」が京都の大本山建仁寺と進めているMRに関する共同研究を支援しています。 今回、同研究最初の成果となるMRコンテンツが完成しました。完成したコン...

イベント情報 2018.02.21

hakuhodo-VRARは、株式会社博報堂と株式会社博報堂プロダクツによる、VR・AR専門ファクトリーであり、最先端技術を用いたプロモーションを開発・提供しています。「MR ミュージアム in 京都」もその一環で、国宝である俵屋宗達の『風神雷神図屏風』を所蔵する建仁寺とhakuhodo-VRARが共同研究するプロジェクトです。同プロジェクトは日本マイクロソフトが技術的にサポートを行っており、マイクロソフトのMR技術とデバイス「HoloLens」を用いて、『風神雷神図屏風』に新しい学習体験を付加、体験することをテーマとしています。

発表会ではhakuhodo-VRARエグゼクティブ・クリエイティブデザイナーである須田和博氏が登壇、第一弾となる「MRミュージアム in 京都」のコンセプトを解説しました。

須田氏によれば、本プロジェクトは「文化財鑑賞の拡張」をテーマに、時間や空間を超えて知を「体験」として学べるコンテンツという構想からスタート。今回重視したのはVRという目を覆うタイプのデバイスではなく、MR・HoloLensを選んだところで、「文化財の本物を目の前に置き、そこにMR技術によって情報を付加して新しい知る体験をしてもらいたい」と語りました。

では、一体どのような新しい体験が待っているのでしょうのか？ 早速、このコンテンツを体験してきました。

「MRミュージアム in 京都」は10分程度のコンテンツとなっており、国宝『風神雷神図屏風』（レプリカ）の展示された部屋に通され、2人1組で体験します。薄暗い部屋の奥にライトアップされる国宝。これだけでも迫力のあるものですが、ここにHoloLensを通じて様々な演出が始まります。

本コンテンツは、ナビゲーターの語りにあわせて風神と雷神が屏風から飛び出し動きはじめたり、俵屋宗達がこの作品に込めた狙いが3Dグラフィックによって描写されたり、といったストーリーに沿って展開される演出を楽しむ内容になっています。実物の作品にMRを用いて情報を表示・追加することで、視覚的に作品の背景や奥深さを体験できます。ラストに少しだけインタラクティブな要素を含んではいるものの、基本的には見て楽しむコンテンツとして仕上げられています。

注目したいポイントは、発表や資料でも大きな目玉として紹介されている、ナビゲーターを担当する建仁寺の僧侶・浅野氏です。本コンテンツではMR空間に浅野氏が登場し、『風神雷神図屏風』の解説を行うのですが、この浅野氏は動画や写真ではなく3Dキャプチャモデルなのです。

本コンテンツには、マイクロソフトが持つMixed Reality Capture Studiosにて浅野氏を撮影したモデルが使用されています。この最新スタジオで撮影されたキャプチャデータの使用事例は、日本において本コンテンツが初めてとなります。

3Dキャプチャだけならばそこまで珍しいものではありませんが、このスタジオの「ヒューマンキャプチャ」は人物の動きを連続してキャプチャし、そのままモデルとして出力する特殊な技術。今回、浅野氏が実際に作品を解説するさまを、そのままキャプチャして使用しているのです。

このデータはかなりの精度で取り込まれており、HoloLens上の浅野氏にかなり寄って見なければ3Dモデルとは感じないレベルです。指先や扇子など細かい部分のエッジが変形しているところもありましたが、それも一瞬のこと。非常に高精細な印象を受けます。そのため、登場してすぐは写真や動画のような印象を受けてしまうほどです。

ですが、当然これは3Dモデル。回り込んでいろいろな角度から見ることができます。これはかなりハッとする体験でした。等身大のリアルな人物がMRで横に立って動いている、この感動は非常に大きいです。

学習体験として捉えてみると、非常に興味深いのは『風神雷神図屏風』3作の比較です。国宝『風神雷神図屏風』は別々の作者による3つの作品が存在しますが、これらが実際に並んで展示されることはほぼありえません。そこで本コンテンツでは、MR上で並べた比較ができるシーンを用意。実物大の3つの国宝を比較し、体験できるようになっています。これは学習体験として非常に有意義なものであり、実物とデジタルの作品と比較できるMRならではの体験といえます。

現在のHoloLensの表示範囲では比較を十全に行うのは難しいという印象もありますが、それ以上に「並べて鑑賞できる、実物大で比較できる体験」は得難いものです。手元の図録と見比べるだけでは味わえない、非常に有意義な利用であると感じました。

他にも様々な演出やストーリー展開が用意されていました。面白いのが国宝とは全く反対の壁面を利用したシーンもあるところ。屏風のまわりに情報を付加していく印象を持っていましたが、実際は展示空間全体を利用していたので驚きました。

国宝を鑑賞するという観点からすれば、実物に背を向けるのはどうなのか？ という意見もあると思いますが、空間全体を使用しての大きなモデルの表示は迫力があり、エンターテイメントとしての楽しさがありました。教育という観点からも、こうした迫力のあるシーンは関心を掴む力があるのでは？ とも感じます。

部屋全体の演出という点で押さえておきたいのが、2つのHoloLensと舞台装置の同期です。本コンテンツは最後にエアタップでインタラクティブな演出が入るシーンがありますが、この情報が参加者それぞれのHoloLensで同期され表示されます。

部屋全体にもいろいろなモデルを表示する関係から、展開に合わせ体勢を変える必要があるわけですが、体験者2人が同時に同じ方向を見るわけでありません。本作ではここをしっかりとシンクロさせ、展開を同期させていました。地味な部分ではありますが、こうした体験型コンテンツにおいては重要な部分です。

本コンテンツはHoloLensだけの出力に頼らず、舞台装置も用いています。雷神が雷を落とせば舞台装置のフラッシュが光り、場所に合わせたスピーカーから雷鳴がとどろきます。

当然こうした演出はHoloLens上でも再現は可能であり、音声もHoloLensのヘッドホンから流すことはできます。しかし、部屋全体を演出に使用することで、より没入感の高いコンテンツにしようという狙いが伺えます。実際体験して、非常に効果的に機能しているように思われました。

このHoloLensと舞台装置、そしてそれぞれを統括するシステムの同期は発表会前日まで調整を重ねた部分とのこと。この同期も本コンテンツで注目したいポイントと言えるでしょう。

国宝という非常に貴重な文化財とMRの融合。世界的にも初めてとなる「MRミュージアム in 京都」ですが、非常に興味深く、楽しいコンテンツに仕上がっていました。昨年7月の発表からおおよそ半年、プロジェクト開始から1年程度とのことですが、満足感の高い体験だったと感じます。ターゲットは博物館に来られる文化財に興味を持つ方を想定しているとのことでしたが、さらに広い範囲の方にも楽しんでもらえるのではないでしょうか。

須田氏は「我々は広告が専門分野なので映像を得意としているが、MRはフレームに収まるわけではないので苦労した」と話していましたが、部屋全体を使った演出を用いることで、得意分野を活かしていこうという工夫も見られました。

発表会において建仁寺・宗務総長の川本博明師は、「私は全くの素人でありまして、生意気なことを言ってしまいますと、若干まだこれからの技術なのだろうなという気はします。けれども、これからもっと進歩発展すればより面白い体験ができる、そういう期待を持っております」とコメントしています。

たしかに、HoloLensの「視野角の狭さ」はどうしても気にかかります。しかし、そうした部分を加味しても、新しい「知る」体験が生まれていたのではないかと筆者自身も感じました。

コンテンツ内でナビゲーターとして登場する浅井氏にもお話を伺ったところ、「こういった文化財、芸術作品を楽しむためにはある程度の知識が必要で、それを知らない人はその奥深さまで楽しむことは難しい。だが、こうした技術を用いることでそこを補完し、作品の世界を知る手助けをすることができる。最新技術は若い世代にこそ響きそうで、そこから作品や背景に興味を持ってもらうきっかけになるのではないか」とのこと。まさしく、これからの世代にこそ活きる展示なのでしょう。

京都国立博物館長・佐々木丞平氏も、MRを用いた展示に期待を寄せています。「『風神雷神図屏風』は、本来なら建仁寺で実物を鑑賞する形が望ましいが、今の時代には難しい。私どものような博物館で所蔵し展示する場合は新しい照明、新しいケースで展示する形となってしまう。こうした新しいデバイスを使うことで、本来ならどのような空間でその時代の人々が鑑賞してきたのか、あるいはどのような場所に展示されていることを想定して作家が描いたのかを知ることができる。Mixed Realityによって、そうした展示を達成することができ、博物館鑑賞というもの随分変わってくるのではと感じます」とコメントしています。

マイクロソフトは最新技術を用いて、社会改革を行うことをミッションとしています。今回の「MRミュージアム in 京都」は、教育・芸術といった流れに位置付けることができるでしょう。担当者曰く、やはり技術やオペレーションの面で大規模な開催はまだまだ踏み切れる段階ではないとのことでしたが、今回の一般公開を経て得た知見が博物館展示を改革していく一助になると思われます。

2019年にはこのプロジェクトが次なる目標としている国際博物館会議（ICOM）の京都大会が予定されています。はたして、世界の博物館関係者の目にMR技術はどう映るのか？ 2019年までのどれだけの進歩があるのか？ 期待が高まります。

開催日程・場所など

「MRミュージアム in 京都」は、京都国立博物館にて以下の日程で一般公開されます。（建仁寺の一般公開は終了）