「物理的な距離をなくす」ために  HoloLensを使ったN高入学式を支えたMR技術

2017年4月5日学校法人角川ドワンゴ学園が運営するN高等学校(以下N高)のネット入学式が六本木・ニコファーレで行われました。

HoloLensと制服の組み合わせは近未来学園もののアニメやラノベにありきそうな雰囲気

昨年度の初入学式ではニコニコ動画やチャットツールSlackを使ってネットで中継を行うだけではなくGear VRを用いたVR中継を行ったN高。今年は、1月に出荷が始まったマイクロソフト社のMRデバイスHoloLensをニコファーレに集まった生徒と登壇者が着用して行われたMR入学式でした。

入学式には理事長佐藤辰男氏、理事の角川歴彦氏。川上量生氏が登壇し、司会は理事の志倉千代丸氏。校長の奥平博一氏は沖縄県うるま市のN高本校からHoloLensを通して式辞を述べました。

入学式冒頭、HoloLensを使った授業風景のイメージ映像が流れました。机の前に立体的に出した分子構造を見ながらノートをとる生徒。違う教室にいる先生が立体映像となって生徒のいる教室の中を歩き回ります。机の上のカメラで先生は生徒のノートを見ることもできます。

 

P4050065.JPG
P4050063.JPG

映像はイメージですが、全て現在の技術で実現可能です。
P4050049.JPG
360度LEDに囲まれたニコファーレ会場にはCGの紅白幕に囲まれ、CGの桜の花びらが舞い散ります。HoloLensを被った生徒に未来を感じさせる演出でした。

P4050052.JPG
会場にはイメージ映像にも出ていた分子構造や、地球や動く心臓が出現しました。

HoloLensを被っていないと、何も見えませんが、会場のLEDにHoloLensを通して見た映像を見ることができます。
P4050077.JPG
沖縄本校からの校長や来賓の祝辞は同時中継で行われ、まるで檀上にいて話しているように映り、ウルグアイ前大統領のホセ・ムヒカ氏の祝辞は事前に録画されたものですが、同じく檀上で座って話しているようでした。
P4050164.JPG

 

https://www.youtube.com/watch?v=yfDY0WyMab4&t=593s

HoloLensを被ってインタビュー

入学式後、取材陣向けにHoloLensを被って沖縄本校にいる奥平校長とインタビューする機会が設けられました。檀上には椅子が置かれているだけですが、HoloLensを被ると壇の下のどの位置にいても、奥平校長が置かれた椅子に座ったように立体的に見えます。

立体的に見えることで、電話やモニター越しとは異なる同じ空間にいるような印象を受けました。今回、校長はHoloLensをつけていないため、校長の方を向いても視線が合わなかった点が気になったほか、立体映像は細かいブロックが集合したような荒い映像で、音声も3秒程の遅れがありましたが、通信状況を安定させるためとのこと。

70台のHoloLensの同期を実現するシステムの開発

N高入学式では、徹底的にHoloLensが使われました。

今回使われたのは、ドワンゴが開発した、教育・セミナー・ライブイベントなどに特化した同期コンテンツ配信システム「DAHLES」(ダレス:Dwango Advanced HoloLive Education System)です。開発責任者の株式会社ドワンゴ プラットフォーム事業本部マルチデバイス企画開発部 先端演出技術開発セクション セクションマネージャー岩城進之介氏に話を聴きました。

なぜMR入学式なのか

ドワンゴは、2016年の入学式ではVRヘッドマウントディスプレイを使ったVR中継を行いました。今回のHoloLensを使った入学式も目的は同じで、「物理的な障害である距離をなくしたかった」とのこと。距離をなくすことに成功すると、究極的には地方に住んでいても東京の有名な先生の授業を対面で受けることができるようになります。

遠くからアバターなどで参加するならば、VRでコミュニケーションをとるアプリで可能になっています。しかし、授業での使用を考えるとノートをとることなど今後の授業形式を考えると、現実が見えるHoloLensを使うことにしたそうです。

  

  

HoloLensを通した映像を撮影するための機材

60台以上のHoloLensを広い空間で同期するために

HoloLensを複数台を使い、同じ場所に置いた同じ3Dモデルを見るためには、以下の2つの要素を同時に達成する必要があります。

・空間に目印を作り、各HoloLensに認識させること
・それぞれのHoloLensが空間内のどこにあるかを把握すること

1、2台のHoloLensと比べ今回のように60台以上で試みるのとでは技術的な障壁も大きかった、とのこと。

HoloLensは、自分の位置を把握するために赤外線を飛ばして室内をスキャンします。この赤外線が届く範囲は最長で数mのため、会場となったニコファーレは広すぎてしまい、隅までスキャンができません。HoloLensにとっては屋外にいるような状態になってしまい自分の位置が把握できないとのこと。通常のニコファーレの床も赤外線を乱反射させやすい床であることもさらに問題を大きくしていました。

そこで今回は、複数の目印からHoloLensが自分の位置を見つけ出すシステムを開発したとのこと。目印は入学式の景観をこわさないように設置しました。床の上には青いカーペットを敷き乱反射を防ぎました。

リアルタイムに話す人間を3Dモデルで表示するには

実際にそこにいて話しているように見せるためにも工夫が必要です。入学式で檀上に表示した人物の3Dモデルは、立体的に動いている映像を途中で止まることなく見せる必要があります。

立体的に見せるには離れたところからプレイヤーの動きを認識できるKinectやステレオカメラをスピーチをする人の前に置き、奥行きとテクスチャをキャプチャします。その結果、細かい色のついたブロックが人の形を形成し、実際に動いているように見えます。

今回は前方だけしか見せないため前のみに置いたとのことですが、今後、教室内に先生を映し出すためには横や後ろに置くため、360度どの方向から見ても立体的に見えるようになります。

 

生中継で現地と結ぶためには通信も安定させなければなりません。ドワンゴでは、遠隔地から一括してネットワークの負荷を少なく最大100台の端末にコンテンツを送れるシステムを開発しました。今後は1,000人規模の対応も考えているとのことです。

HoloLensを使うことによって、遠隔地の先生との距離が関係なくなり、さらに対面でのやり取りの良さも残ります。最先端の技術を使いながらも昔ながらのノートをとる勉強方法もできる点もポイントです。通学をしたくても困難な生徒にも、自分にとって最も適した場所に居場所を作れる生徒が増えていく技術ではないでしょうか。

N高ではHoloLensを沖縄・東京・大阪の各校に置いて活用していくとのこと。HoloLensの教育利用には引き続き注目があつまりそうです。

この記事を書いた人

  • アニメや特撮、VR・ARが好きなだけな人です。Oculus等HMD、VR・ARの魅力を沢山の人に広めていければと思っています。

    Twitter:@kure_kure_zo

    Mogura VRのライター一覧はこちら
    http://www.moguravr.com/writers/

Mogura VR編集部では、インターン・ライター・編集者を募集しています!
詳しくは募集ページをご覧ください。

募集ページへ

現在、インターンの募集も積極的に行っております。応募はこちら!

応募ページへ