ソニーが発売した「空間再現ディスプレイ」こと「ELF-SR1」は、他の立体表示ディスプレイやVR機器と同じく「百聞は一見に如かず」を地でいく製品だ。文字で書けば「非常に鮮明な立体像が、まるでそこに箱庭があるかのように見える」ということになるのだが、まあ、なかなか実感しづらい。写真や動画ですらその一部しか感じられないのだから、文字ではなおさらだ。
（ソニーの「空間再現ディスプレイ」こと「ELF-SR1」）
YouTubeリンク：空間再現ディスプレイ:ELF-SR1 インタビュー ＜CGクリエイター編＞
札幌・東京・大阪・名古屋・福岡のソニーストアには実機が展示されているので、可能な方は足を運んでいただくのが一番ではある。
では、この製品はどのようにして生まれたのだろうか？ また、なにを狙っているのだろうか？ デベロッパーはどうみているのだろうか？ 今回、ソニーの開発陣に直撃した。
取材にご対応いただいたのは、ソニーホームエンタテインメント＆サウンドプロダクツ株式会社 TV事業本部 商品開発部 シニアビジュアルエンジニアの横山一樹氏、同 商品企画部 XRプランナー＆ビジネスプロデューサーの太田佳之氏、ソニーマーケティング株式会社 ホームエンタテインメントプロダクツビジネス部 ディスプレイMK課 マーケティングプランナーの齋藤圭介氏の3名だ。
（左から、齋藤圭介氏・横山一樹氏・太田佳之氏）
研究は「3Dテレビの課題解決」から始まった
冒頭で述べたように、ELF-SR1はその場に立体空間を再現するディスプレイだ。その開発開始は2年以上前に遡るという。
-
横山氏（以下敬称略）：
-
私は3Dテレビ（2010年代前半に盛り上がった、HDTVに偏光グラスや液晶シャッターのメガネを組み合わせて3D映像を見る方式のテレビ）の開発もしていたんです。ただ、左右の目の視差だけで3Dを表現する仕組みだと、一定数、「私には3Dに見えない」という方がいたんです。どうも2割くらいの方が、この奥行き情報だけでは立体感が弱くなるようです。
「あたかもここにある」ような表示にするにはなにができるか？ と考えた時、移動による視差を使った方法を思い出しました。その時期に高解像度な表示ができるディスプレイに出会っていた、ということもあるのですが、「自社にある高速ビジョンセンサーとフェイストラッキングを使えばなにかできるんじゃないか」と考えました。
3Dテレビに使われている表示は中央からの視点で構成されている。そのため、中央から見ないと画像が歪んで立体像が正しく見えない。さらに「左右の目の視差だけでは3Dに見えにくい人がいる」問題もあった。そこで、フェイストラッキングを使って方向を認識し、どの方向に動いても正しく見えるようリアルタイムに映像を生成する前提の、今のELF-SR1につながる。
横山氏がその頃出会ったのは、医療用の高解像度裸眼3Dディスプレイだ。医療現場では術野を拡大しつつ立体で見る、というニーズが大きく、非常に解像度の高いディスプレイがすでに開発されていた。「これをどう置いて、どう使うと良いのか」という実験をしつつ、高速のフェイストラッキング技術を組み合わせることになった。ここで使っているセンサーは工場のライン検査などに使われるもので、最大毎秒1000フレームの認識制度を持つ。
-
横山：
-
速度感を持って開発してきたのですが、ディスプレイにしろセンサーにしろ、１つの技術が欠けてもこの製品はできませんでした。それがちょうど揃って、作り上げることができました。
開発期間は2年、「未来のテレビ」の検討から商品化へ
とはいえ、横山氏はあくまで「R＆D」としてこれらの作業を進めていた。商品開発に直結したものではない。そういう意味では技術先行だ。
商品企画側では全く独立した動きとして、ある企画を検討する流れがあった。担当である太田氏は次のように経緯を説明する。
-
太田：
-
従来にない新しい体験の「未来のテレビ」のための商品がどうなるか、というところから検討が始まったものです。
ただしこの段階では「3Dディスプレイの開発」と決まっていたわけではない。とにかく従来型の「四角い枠の中を見る」のとは違うなにかがないか、という基本的なところの検討から始まっている。「実は最初は3Dではない方向を考えていた」と太田氏も言う。だが、社内で横山氏が開発していた3Dディスプレイ技術を見て、話は一気に具体化していく。
実際、開発期間は意外と短かったようだ。
-
太田：
-
最初のプロトタイプから出来が良かったので、製品化までは2年かかっていません。もちろん最初は製品化が決まっていたわけではないのですが、3ヶ月ごとに製品化に向けたチェックを行い、「これで行こう」とボタンが押されたのは……1年くらい前でしょうか。
「ソニーにとっての初号機。見た目にも恥ずかしいものを出すな」
開発中には色々なサイズバリエーションもテストされた。8インチから24インチまで、さまざまな試作機があったという。
今回のコンセプトは最初から「1人で見る」ことにフォーカスされていた。そうすることで解像感を保ち、「そこにある」ような鑑賞画質を実現するためだ。
-
横山：
-
複数人での視聴ニーズがあるのはよくわかっています。ですが今回は、まずは1人に絞って開発をしました。複数人で見られる技術を現在導入すると弊害もあって、実在感がなくなります。なので「まずは1人で」ということになります。
確かに「2人」での視聴は必要になるのだろう、と思います。その方向を目指すとは思いますが、しばらく研究が必要です。
1人で見ることに特化したことで、1枚のディプレイから出す映像を1人分、すなわち左右の視点分に集中することができた。そのため解像度が高まり、高い実在感が得られたのは間違いない。
-
横山：
-
というのは、解像度が下がると「ディスプレイの位置」が見えてしまうんです。結果、世界観が壊れ、没入感・実在感が失われてしまいます。
-
太田：
-
ディスプレイが斜めにある、というのも感じさせたくないんです。なので、反射コーティングにはブラビア で採用実績のあるものの中でもトップクラスの、かなり拘ったものを使いました。
-
横山：
-
反射で立体感との矛盾が起きてしまうんですよね。
（ディスプレイを表示していない状態。反射低減のためのコーティングにはテレビと同じものが使われているという。）
その中で現在のサイズに落ち着いたのは、「クリエイターがコンテンツを制作するときに活用する」というニーズを考えてのことだ。
-
太田：
-
机の上に置いて邪魔にならず、ディスプレイの脇に置いて使えることを目指しました。最初に30インチも考えたのですが、かなり巨大になってしまいコンテンツの開発用としては無いな、ということになり、結局、ノートPCと同じくらいの、13インチから15インチをターゲットにしています。
また、ディスプレイパネルの解像度が200dpiくらいないと、この画質が出ないんです。そうすると、「4Kで15インチ」というサイズが必然的に出てきました。「鑑賞画質」をキープするために必要な最低限のdpiが4K・15インチ前後だった、ということです。
実は8インチもコスト面を考え、検討しました。しかしやっぱり物足りない。「ステージ感」の再現には最低このサイズが必要、ということで、15インチが落とし所になったのです。
スピーカーを内蔵しているのは「音がないコンテンツは、基本的に存在しない」（太田）と考えているから。あくまで独立した機器としての価値を目指している。
デザインも、最初から「試作機然」としたものではない、ちゃんと製品らしいものに仕上げることに決めていたという。
-
太田：
-
「本体のデザインは体験品質に見合ったものにするべき」ということは、企画当初から決まっていました。そこはトップマネジメント含め、早い段階から理解を得られていましたね。「これはソニーにとっての初号機だから、見た目にも恥ずかしいものを出すな」とも言われました（笑）。ボディはフルアルミです。B2B用途で色々なところに置かれ、背面からも見られる可能性が高いので、丁寧に仕上げています。
（本体裏面。アルミ仕上げで「SONY」のロゴが。実はネジも見栄えにこだわってトルクスネジだ。）
すぐに気づかない工夫もいくつかある。
-
太田：
-
カメラの部分にある丸い窓なのですが、実は「真円」ではないんです。斜めになった場所にある穴なので、真円にすると正面からは楕円に見えてしまいます。なので、前から見て真円に見えるようなバランスになっています。
インジケータのLEDも、本体の正面からは見えないようにしているんです。LEDの光が見えると没入感が削がれるので。
「自分が好きでやってる人」を巻き込むための一般販売・SDK公開
そうして作られたELF-SR1だが、ソニー製品としては異例な点もあった。ELF-SR1はその性質上、コンシューマがそれだけを入手しても使えない製品、ということだ。ディスプレイに表示させるための3DCGデータが必要なのである。 だがそれを、あえて「一般販売」した。展示はソニーストアに限定しているが、一般の家電量販店のネット販売からも購入できる。表示に必要なSDKや開発の情報は全てウェブで公開され、ELF-SR1を購入していない人でも自由に見ることができる。
（ELF-SR1を使うには高性能なゲーミングPCとゲームエンジンの利用環境が必須。「コンシューマ向け」というにはハードルが高い。）
-
太田：
-
確かに、「この形でよく出したな」と自分でも思います（笑）
プロ向け・B2B市場メインという商品企画ではあったものの、「ユーザー参加型である必要がある」と考えていました。別の言い方をすれば、商品を一緒に作り上げていこう、と思ったのです。
ソーシャルで話題になり、外に情報が出ていくには、B2C側にも販路が必要だと思いました。そうすることで、「自分が好きでやってる人」が発信してくれると思ったんです。
ソニーマーケティング側で販売戦略を担当した齋藤氏は、B2C販路を実際に構築した人間の一人だ。
-
齋藤：
-
B2B向けの用途がメインだな、というのは我々ももちろん認識していたんですが、これは「ソニーの新しい技術」なので、きっちりと世の中での認知を拡大する必要がある、と思いました。
この商品の魅力は、やっぱり目で見ないと伝わりません。ですから、お客様とのタッチポイントをきちんと設けたいな、と思ったんです。なので、まずは販路をB2Bに限定せずに売り出すことになりました。
ただこういう商品特性と時期ですから、店頭展示が非常に難しい。そこで考えたのが「直営店であるソニーストア」での展示です。厳しい中ではありますが、直営店ではきっちりやろう、ということで進めました。
結果として、直営店での展示は好評だという。取材を行った10月末の段階では、休日だと体験に待ち時間が必要なほどだという。「予想以上に、ニュースの記事や映像を見て、という方が多かった」と齋藤氏はいう。
SDKの公開については「最初の企画段階から決めていた」と太田氏は言う。
-
太田：
-
まだまだこれからですが、サポートも開発者向けサイトを立ち上げて対応していきます。従来のソニーとしては、あまりない形での発売だったとは思います。
私は、過去にGoogle TVやAndroid TVの立ち上げを担当していました。そこでAndroid TV向けのアプリケーションの開発者サポートなどの経験はあったんです。そういった過去の経緯もあり、「今後は公開やサポートをやっていくぞ」という理解も、社内ではだんだん醸成されています。
（ELF-SR1の開発者向けサイト。ここから自由にSDKや開発情報が入手できる。）
太田氏がELF-SR1のSDK公開について、参考にしたものがある。それは「Oculus Rift」だ。Oculusが初期にVRでやったことを見ていて、それをモデルケースに今回の仕組みが組み立てられている。
実際、ELF-SR1向けのアプリ開発で必要なことはVRでのアプリ開発に近い。
-
太田：
-
UnityやUnreal Engine対応に、ということにしたのも、VRから学んでのことです。色々な3Dソフトなどに直接対応できればいいのですが、そのためのリソースはありません。なので、ゲームエンジンに対応していれば開発が加速されるだろうし、過去にVR用に作られたアプリなどを移植するのも難しくないだろう……と考えました。コンテンツの流用性についてはかなり意識しています。
-
横山：
-
実は、最初はOpenGLで作られていたんですよ。今考えるとそれでは、色々な人に開発してもらうのは難しかったでしょうね。
作ってみたらどうだった？ XVI に聞いてみた
結果的に、彼らの狙いは当たった。SNSを見れば、多くのVRコミュニティの人々がELF-SR1に触れ、アプリ開発を始めている。そこでシェアされる動画が、ELF-SR1の認知を高めるためにプラスに働いているのは間違いないだろう。
では、ELF-SR1を手に入れたデベロッパーは、実際に開発してみてどう思ったのだろうか？VR関連では御意見番でもあるGOROmanこと近藤義仁社長が率いる、株式会社XVIで話を聞いてみた。
XVIは現在、CGによるアニメーションツール「AniCast Maker」を開発中だ。それをまずELF-SR1上で動作させる試みが行われている。
[wc_row][wc_column size=”one-half” position=”first”]
[/wc_column][wc_column size=”one-half” position=”last”]
[/wc_column][/wc_row]
（ELF-SR1上で動く「AniCast Maker」。操作しているのは開発を担当した古林克臣氏）
対応作業を担当したのは、XVI・シニアソフトウエアエンジニアの古林克臣氏（@ korinVR、通称こりん氏としてコミュニティではお馴染み）だ。筆者も体験したが、「映画のセットを覗き込む」ような感覚があって、非常に面白い体験ができるものに仕上がっていた。監督がELF-SR1を見ながら演技をつける、みたいな用途も考えられる。だがそれ以上に古林氏達は「デモには最適なのではないか」という感触を得たという。
（クレジット：「© Dai Nippon Printing Co., Ltd.」）
-
古林：
-
一言で言えば「めちゃめちゃ簡単」でした。「AniCast Maker」に関して言えば「プレハブを置くだけで動いた」感覚に近いです。
しかも重要なのは、Oculus Integrationと一緒に動いた、ということです。すなわち、HMDを使いつつ、ELF-SR1も使える。そこが非常に大きかったです。
1点注意が必要なところがあるとすれば、CPU負荷が非常に高い、ということでしょうか。Core i9-9900Kのマシンを使っていますが、これで60％も負荷がかかっています。カメラによるフェイストラッキングの部分が重いようです。
この点については開発側も認識している。現状は「表示はGPU に、フェイストラッキングはCPU に」（大田氏）負荷がかかっている状況で、改善が検討されている。高フレームレートでの顔認識ゆえの課題、と言えそうだ。本当はここで認識用の専用ハードウエアを用意して負荷分散できるといいのだが、「その開発はまだもう少し先」（太田氏）な状況。将来的にもっとマスを向けた製品が作られる時には、そうした配慮が行われる可能性もあるだろう。
GOROman氏は自ら試した感想をこう述べている。
-
GOROman：
-
非常に面白いです。ミクさん（Tda式初音ミク）を出してみましたが、かなり「そこにある」感じがします。フェイストラッキングの情報を使って視線がこちらを追尾するようにしてみましたが、これはかなり効果的ですね。個人的には、メーカーが推奨しない使い方ではありますが、縦に置いて表示してみたらすごく良かったので、縦画面モデルも作れないのかな、とは思います。
（© Tda / Crypton Future Media, INC. www.piapro.net ）
こういうフィードバックは、SNSなどの上で頻繁に行われるようになってきている。広く公開した効果が、まさに生まれてきているといえそうだ。
