Home » 言語の壁を越える 自動翻訳込のAR/VRコミュニケーションを目指す『Project Sonata』【SXSW2017】


活用事例 2017.04.06

言語の壁を越える 自動翻訳込のAR/VRコミュニケーションを目指す『Project Sonata』【SXSW2017】

 

VR元年と言われた2016年は様々なそして多くのVRコンテンツが生まれました。しかしそのほとんどが1人用のコンテンツです。VRコンテンツの大きな課題の1つに楽しさを他者と共有できないことがあげられます。また、他のデバイスやARを含めた他のプラットフォームともコミュニケーションにおいては親和性が薄いという現状がありました。

ゲームや映像系コンテンツが多数を占める中、Facebookが発表したソーシャルVRソリューションに注目が集まり、複数人で楽しむソーシャルVRが増え始めています。

株式会社グラニ社 Grani VR Studioは、それらの課題を解決しうるプロジェクトを立ち上げ、アメリカ、テキサス州オースティンにて開催されたSXSWで、招待制デモとライブ配信を実施しました。

株式会社グラニ社は、スマホゲームの企画・開発・運営を行っている会社で、代表作品の『神獄のヴァルハラゲート』は累計会員数240万人突破(2017年3月現在)、また2017年4月には新作ゲーム『黒騎士と白の魔王』がリリース予定です。。Grani VR Studioは、グラニの経営理念の1つである、「最先端を追及する」上で、エンターテイメント市場でも成長が目覚ましいVR産業に参入するべく、2016年11月に『Grani VR Studio』を開設しました。同社のオフィスをVR化したHTC Vive向けアプリ『Grani VR Office Tour』を公開しています。

AR/VR双方のユーザーがコミュニケーションをとれるProject Sonata

Project SonataはAR/VR双方のユーザーを対象としたコミュニケーションプラットフォームです。基本機能のひとつとしてリアルタイム翻訳機能が実装されており、HoloLensを被ったユーザー同士が、母国語のみでコミュニケーションをとることができます。たとえば英語が話せない日本人と、日本語が話せないアメリカ人とのコミュニケーションは、通訳を入れるなどしなければコミュニケーションが成立しませんが、Project Sonataではリアルタイム翻訳機能によりコミュニケーションが可能になります。

分かりやすい公式の映像はこちら。

ARだけでなくVRユーザーも同じ空間に同居する事が可能で、その場にいるユーザーとオンライン上のユーザーが同時にコミュニケーションすることができます。

フクロウに導かれてコミュニケーション

今回、SXSWでの招待制デモではHoloLens版のみ体験しました。HoloLensを被ると、他のHoloLensユーザの近くにフクロウがいます。このフクロウは自分の分身のような役割を果たします。自分のフクロウは見えませんが、各ユーザーにこのフクロウが1体つくことになります。

HoloLensユーザーについているフクロウ

Project Sonataでは、ボイスコマンドでほとんどの操作が可能になっています。自分の使用する言語を「Japanese mode」、「English mode」などと口に出すと設定完了です。

会話を始めるにはまず、エアタップ(HoloLens特有の操作で、空中をつまむ動作)をすると音声認識モードになるので、この状態で会話を始めます。発した会話は相手の言語モードに合わせてリアルタイムに翻訳され読み上げられます。

同時にチャットウィンドウにも反映されて行きます。

チャットウィンドウ

また、帽子を被ったフクロウも空間上にいます。このフクロウの名前はセバスといい、いわゆるNPC(non player character)で、ユーザー同士のコミュニケーションを促進するキャラクターです。


セバス君

さらにオンライン接続している場合はVRユーザーも同一空間内に存在することができます。筆者が体験した時には日本からの参加ユーザーが1名いました。VRユーザーはフクロウのみ表示され、HoloLensユーザーのフクロウよりも敢えて一回り大きく表示しているとのこと。

右下の赤いフクロウがVRユーザー

スタンプでさらに広がるコミュニケーション

ボイスコマンドでスタンプを表示することも可能ということで、「OMG」、「Hi」、「Amazing」、「Bye」などと発声すると、スタンプが表示されます。

LINEなどでスマートフォン上でのスタンプは馴染みがありますが、HoloLensでみるスタンプはとても新鮮でした。HoloLensユーザー同士の会話では、相手が目の前にいるわけですが、その相手からスタンプが表示されます。私たちが対面で会話しようとすると身振り手振りが入りますが、それに加えスタンプが加わることにより、違う文化圏の人同士だったとしても、より豊かなコミュニケーションが生めるかもしれません。

VRユーザーからはVR空間内でHoloLensユーザの位置がわかるそうで、HoloLensユーザーが実際に歩くと、VR空間内でHoloLensユーザーを示すフクロウも移動します。

また、HoloLensユーザーから見えるVRユーザーのフクロウはVRユーザーの動きを反映し、例えばジャンプしたり移動したりするとフクロウもジャンプしたり移動します。


VRユーザからみた『Project Sonata』の世界。

『Project Sonata』で現在できること

・リアルタイムに翻訳し、音声出力ができる
・ボイスコマンドによる入力、操作ができる
・スタンプを出すことが出来る
・NPCを用いた会話の促進とチュートリアル機能
・VR/ARユーザーがリアルタイムにコミュニケーションできる

2017年に入り、マイクロソフトの描くティザー動画のように、ますますARとVRは分け隔て無くコミュニケーションが取れるようになると言われていますが、私自身そのようなソリューションやサービスに触れたことがありませんでした。

この『Project Sonata』はまだ会話のみですが、それを実現しており、翻訳の精度、スピードなどの課題はまだありつつも、未来のコミュニケーションのあり方を感じさせる体験でした。

開発メンバーは、エンジニア2名、デザイナー1名、プランナー1名、ディレクター1名の計5名。

実はこのプロダクトは開発を初めてまだ1ヶ月少ししか経っていないらしく、HoloLensアプリの開発が初めてだったことに加え、VR側の開発も必要であるにも関わらず、すでにデモができる状態になっていました。

ディレクターの福永氏によると、今後はさらに機能拡張を進め、2017年末に何かしらの発表をしたいと考えているそうです。

SXSWでは浴衣姿にHololensをつけてオースティンの街を練り歩き、SXSWの参加者に声をかけ体験してもらったとのこと。浴衣姿にHoloLensを装着し、オースティンの町を闊歩するメンバーの姿に地元メディアからも注目を浴び、地元紙のアイキャッチにもなりました。


HoloLensの違和感が全くないGrani VR Studioプロジェクトメンバーの皆様。

SXSWについて

毎年3月にアメリカ合衆国テキサス州オースティンで行なわれる、音楽祭・映画祭・インタラクティブフェスティバルなどを組み合わせた大規模イベント。1987年に音楽祭として始まり、毎年規模を拡大しています。

近年では日本企業からトレードショーへの出展や、アワードへのエントリーも増えてきており、SXSW Interactive Innovation Awardsでは昨年WHITE社がMilbox TouchにてFinalistに選出、今年は東大 ロボット義足開発チーム「BionicM」が日本からのエントリーとしては初の受賞に至っています。

(参考)
Grani VR Ofice Tour

株式会社グラニ
http://grani.jp/

Grani VR Studio
http://grani.jp/group/vrstudio/ja/

SXSW
https://www.sxsw.com/

 

VR/AR/VTuber専門メディア「Mogura」が今注目するキーワード