動き出すMagic Leap、次世代コンピューティングの鍵とは？

MRデバイスの開発を進め、これまでに総額23億ドル(約2,400億円)以上を調達しているMagic Leapは、2017年12月に開発者版を発表し、ユーザーや企業から多くの期待を集めています。

同社はイベントなどにもあまり姿を現さずデバイスに関する情報も明かさないため、「謎の企業」とされることも多くありました。2018年3月にサンフランシスコで開催されたGDC 2018では、2つの講演を行うと同時に、開発者向けのツールやゲームエンジンとのパートナーシップを発表しています。講演では同社が目指していく世界観や、デバイスのユースケースなどを紹介し、開発者に対してアピールを行いました。

本記事では2つの講演の内容から、いくつかのポイントに分けてお届けします。

目次

1. VRでもARでもない空間コンピューティング
2. 「ユーザーがいる世界」を理解する空間マッピング
3. デバイスがユーザーを理解する
4. 鍵となるAIキャラクター
5. まともな外見になったのは2017年
6. 「思いつくアプリはすべて作った」

VRでもARでもない空間コンピューティング

2つの講演で大きな割合を占めていたのが、Magic Leapの提唱する世界観についての解説と紹介です。同社が目標に掲げているのは「空間コンピューティング」（Spatial Computing）。同社が考えている、コンピューターと人間の関わり方であるコンピューティングの次のステージの概念です。空間コンピューティングでは、デジタルのコンテンツと現実世界やユーザーが強い関わり合いを持つことを重要視しており、「ユーザーそのもの」や「ユーザーがいる世界」を深く理解するデバイスを作り出すことによって、その実現を試みています。

Magic Leapのミッションは「人々と技術に調和をもたらし、より良い統合された世界を実現すること」

「ユーザーがいる世界」を理解する空間マッピング

「ユーザーがいる世界」を理解することを支えているのは、デバイスの持つ高い空間マッピング技術です。同社が開発中のデバイスMagic Leap Oneでは「ダイナミック・ナビ・メッシュ」と呼ばれる機能により、デバイスの利用中は常に周囲の空間を認識し続けます。

講演では「Magic Leap One」で撮影されたとされるテストショットが公開され、現実の空間にあるソファーに腰掛けるバーチャルなロボットの動画や、ランプとバーチャルな光を合成するといった事例が紹介されています。あくまでテストショットとのことなので、実際の動作に関しては未知数ですが、いずれも現実空間に正確にオブジェクトを配置することに成功しており、空間認識について高い能力を持っていることが予想されます。

テストショット(1)

テストショット(2)

デバイスがユーザーを理解する

「Magic Leap One」ではユーザー側情報の認識を、ジェスチャーや音声、視線などの6種類以上の手法を駆使して行います。その中から特徴的なものを数点紹介します。

音声入力

「Magic Leap One」は音声入力にも対応しています。大きな特徴としては自然言語を認識するだけでなく、声のトーンやユーザーの呼吸などの分析を行うということ。これらのデータを利用し、ユーザーの感情分析を行うといったユースケースを想定していることを明らかにしました。

アイトラッキング

同社は現実とバーチャルのインタラクティブ性を高めるなどの目的で、視線追跡を使用することを明らかにしています。キャラクターが目の前にいるにも関わらずユーザーがキャラクターに注目していない場合、キャラクターが「ねえ、なぜ私を見てくれないの？」と語りかけてくるような体験が可能になると思われます。

コントローラー

ジェスチャーによる入力だけではなく、コントローラー入力もサポートしています。このコントローラーは6DoF(※)となっており、ジェスチャーでは認識が難しい細やかな動きに対応します。

さらにコントローラーは入力だけでなく、触覚フィードバック機能を備えています。「デジタルオブジェクトに触れると触覚でフィードバックが得られる」と説明されており、ユーザーの体験をよりリアルに近いものにできるとのことです。

(※6DoF……Six degrees of freedomの略。xyz軸方向に平行な動き3つと、軸を中心に回転する動き3つを合わせた、6つを自由に動けること。Oculus RiftやHTC Viveのコントローラーは6DoF)

鍵となるAIキャラクター

同社は「Magic Leap One」の体験について、キャラクターの存在を非常に重要視しています。現実とバーチャルの相互作用や調和を追求する同社は、キャラクターの存在にも同じく調和を求めており、そこではセンサーによる認識に加えて、AIが重要になってきます。

指定された動きをそのまま実行するのではなく、キャラクターに「目的」を与え、センサーからインプットされた周囲やユーザーのデータを元に、状況に応じた動きを行わせることが、より良い体験を与えるために重要だとしています。

同社でインターラクション・ディレクターを務めるアレイシア・レイデッカー氏は、「AIキャラクターの存在が、ゲームをよりパーソナルなものにする」と述べ、その重要性について語っています。キャラクターが現実世界のテーブルや椅子などを正確に捉え、物語の舞台とし、さらにユーザーの行動や心情などを汲みとり、語りかける。そのようなキャラクターのいるゲームの世界観を目指していきたい、と力強く語りました。

まともな外見になったのは2017年

2回目のセッションの中では、ヘッドセットのプロトタイプも公開されました。最初の写真は「The Big Bench」と呼ばれる2014年のプロトタイプ。2014年時点のものはヘッドセットの形をしておらず、おそらく覗き込んで利用するものということが予想されます。

「チーズヘッド」と呼ばれる2015年のプロトタイプからは、ヘッドマウントディスプレイとして頭に装着することが可能となりました。

続いては2015年後半のプロトタイプ。最初のプロトタイプと比べると半分ほどの大きさとなっていますが、依然として非常に大きな形状となっています。

そして最後の写真が2016年と2017年のプロトタイプです。公開された製品Magic Leap Oneに近い大きさとなったのは、2017年に入ってからということが分かります。

「思いつくアプリはすべて作った」

今回の講演の最後には、”The Journey Starts Here“というメッセージを打ち出し、これから社会に新しい体験をもたらすということを開発者に向けて力強くアピールしています。「Magic Leap One」のプラットホームで動くアプリのプロトタイプを作っているブライアン氏は、ここ数年様々な分野で600~700ものプロトタイプアプリを構築してきたことを明らかにしました。「思いつくものはすべて作った」というブライアン氏。今後はこれらのアイデアを元に、開発者と協力しながらアプリを世の中に送り出していきたいとしました。

製品発表を一切してこなかったことから「謎のスタートアップ」と呼ばれてきた同社ですが、2018年に入ってからは新しい世界観の実現に向けていよいよ動き始めています。一方で製品の出荷日や、スペックなどは依然として明らかとなっていません。GDC2018でも、開発者版デバイスの一般展示はありませんでした。続報に注目したいところです。