8/12〜8/16にカナダ・バンクーバーで行われている世界最大のCG系カンファレンスSIGGRAPH2018。講演やデモ展示など様々なことが行われる規模の大きなイベントです。
SIGGRAPH内で発展途上の先端技術を扱うセッション「Emerging Technologies」（通称E-Tech）では、筑波大学の落合陽一准教授が主宰するデジタルネイチャー研究室およびPixie Dust Technologies, Inc.が研究開発している網膜投影システムのデモ展示を行なっていました。（Pixie Dust Technologies, Inc.は、落合陽一氏が代表取締役を務めるベンチャー企業。）
本記事では、E-Techブースで体験できたデジタルネイチャー研究室の網膜投影システムをレポートします。
網膜投影とは
映像体験を実現する視覚ディスプレイには様々な種類があります。物体に映像を投影するプロジェクションマッピング、手で持つスマートフォン、VRヘッドセットのような接眼光学系HMD。
ARグラスのようなデバイスを日常的に使えるものにするために、小型化や広視野角化は重要な課題です。従来の方法では、例えばハーフミラーを使ったシースルー型のデバイスを作る場合、視野角を大きくするほど眼前に置くミラーも大きくする必要があるため小型化が難しいなどの問題がありました。
そこで近年徐々に注目を集めているのは、網膜に直接視覚提示を行う網膜ディスプレイです。網膜に直接映像を投影する方式では、消費電力が少ない、常にピントが会う映像体験ができる、小型化への可能性があるなど、様々なメリットがあります。例えば2018年4月にはQDレーザが網膜操走査型デバイス「RETISSA Display」を法人向けに発売しています。
QDレーザの網膜操走査型デバイス「RETISSA Display」
網膜ディスプレイの概要
網膜ディスプレイにも、様々な種類の映像提示方法があります。例えばレーザー走査による網膜走査ディスプレイや、マクスウェル光学系による網膜投影ディスプレイなど。
例えばQDレーザの「RETISSA Display」は網膜走査型です。走査線と言えばテレビのディスプレイなどでもお馴染みのもの。走査線方式の映像提示では、光の水平線がディスプレイの上から下へ高速に走っていく残像効果で一枚の画像を見せています。
https://www.youtube.com/watch?v=FRhVjbXtTgI
一方でマクスウェル光学系による網膜投影ディスプレイでは、「マクスウェル視」というものを使います。マクスウェル視とは、物体から出た光を光学系などを通して一点（瞳孔中心）に収束させてから網膜上に投影する方法。
こうした従来の網膜投影手法では、瞳孔（レンズ）の中心のみに光を通すことでピントに関係なく常に焦点が合っている状態が実現できる一方で、瞳孔中心からずれると映像が見えなくなるため広視野角が実現しにくい、アイボックス（映像を綺麗に見るために目を動かしても良い範囲）が狭いなどの課題点が見られます。
デジタルネイチャーグループの網膜投影
デジタルネイチャーグループ（以下DNG）がSIGGRAPHで展示していたのは、透過型ミラーデバイス（TMD）を転写光学系として用いて複数の集光点を目のレンズの位置に生成する新しい網膜投影手法。
Make Your Own Retinal Projector: Retinal Near-Eye Displays via Metamaterials (SIGGRAPH 2018 E-tech)
TMD（Transmissive Mirror Device）とは、ある位置から出た光線をプレートに対して面対称な位置に集め、原版と同じ像をそこに形成することが出来るというもの。DNGの網膜投影システムでは、レーザプロジェクタの前にTMDを置き、プロジェクタと同じ効果を持つ光線情報を数万個のコーナーミラーによって離散化し，多眼のマクスウェル光学系に近い形で投影を行うことで，映像を眼球内に再生しています。この「多眼マクスウェル視」とでもいうべき再生方法は，マクスウェル視のピント調整によらない映像投影というメリットを保ったまま，従来の問題点であったアイボックスの狭さを解消し，広いアイボックスを実現することができます。
これによって、従来の技術よりシンプル・広視野角・低消費電力な網膜投影システムを実現できるとのこと。
（画像出展：https://digitalnature.slis.tsukuba.ac.jp/wp-content/uploads/2018/06/2018-siggraph-etech-retinal.pdf）
TMDとハーフミラーを組み合わせることでシースルー型にすることも可能です。
会場では異なる3種類の光学系で実装した網膜投影デバイスを展示していました。非シースルー型のもの（右）、画像の解像度を荒くする代わりに視野角を限界まで大きくしたもの（中央）、シースルー型のもの（左）。
TMDを利用した網膜投影での視野角は、理論的にはプロジェクタの投影角と等しくすることが出来ます。今回の展示では、左右のタイプは水平視野角38度・垂直視野角22度、真ん中のタイプは理想的には水平102度・垂直77度だそうです。ただし、実際は様々な要因で理想値は出ておらず、水平90度程度に収まっているとのこと。
またレーザプロジェクタは、投影レンズの直後に減光フィルタを置いており、出力を1000分の1に落として利用しています。これは、理論的には現状利用しているプロジェクタの1000分の1まで消費電力を落としてシステムを実現できるということを意味しています。
減光フィルタを外して出力が通常（網膜投影時の1000倍）になったもの。
[wc_row][wc_column size=”one-half” position=”first”]
[/wc_column][wc_column size=”one-half” position=”last”]
[/wc_column][/wc_row]
SIGGRAPHでは「Experience Presentation」というセッションの中で、E-Tech展示者などから展示内容の詳しい説明もありました。
デジタルネイチャーの成果、製品化を目指すPixie Dust社
Pixie Dust Technologies, Inc.（ピクシーダストテクノロジーズ）は、落合陽一氏が代表取締役を務める、「魔法のように生活に溶け込むコンピュータ技術」を開発するベンチャー企業です。
落合陽一氏は大学の研究室とベンチャー企業の双方を主催することで、研究室が行った基盤研究を、ピクシーダストテクノロジーズが社会実装・製品化に繋げるというエコシステムを実現しています。
ピクシーダストテクノロジーズは、2017年秋に網膜投影型デバイスを開発中であると発表しています。この網膜投影型デバイスには、本記事でレポートした網膜投影技術が取り入れられているとのこと。
（画像 http://pixiedusttech.com/air-mount-retinal-projector/）
網膜投影技術の未来、およびDNG・ピクシーダストテクノロジーズが開発中のデバイスに注目です。
展示基本情報
展示名：Make Your Own Retinal Projector: Retinal Near-Eye Displays via Metamaterials
展示者：Yoichi Ochiai, Kazuki Otao, Yuta Itoh, Shouki Imai, Kazuki Takazawa, Hiroyuki Osone, Atsushi Mori, Ippei Suzuki（筑波大学 デジタルネイチャー研究室、Pixie Dust Technologies, Inc.）
PUBLICATION
Yoichi Ochiai, Kazuki Otao, Yuta Itoh, Shouki Imai, Kazuki Takazawa, Hiroyuki Osone, Atsushi Mori, and Ippei Suzuki. 2018. Make your own Retinal Projector: Retinal Near-Eye Displays via Metamaterials. In SIGGRAPH ’18 Emerging Technologies (SIGGRAPH ’18). ACM, New York, NY, USA, 2 pages. DOI: https://doi.org/10.1145/3214907.3214910
など
