2017年秋からAppleは、アップデートを通じてiOSのデバイスにAR機能を搭載します。iPhoneユーザー
新たに深度センサーを用いたジャスチャー認識システムの特許を取得しました。特許では、この深度マッピングがゲームに適用される可能性があるとしています。
光の反射により深度をマッピングする
AppleはWWDC2017にて、iPhone/iPadのカメラのみで現実を認識するARプラットフォームを発表し、ARを使ったアプリを開発するための「ARKit」を発表しました。現実の床などを認識し、デジタルな物体を現実にあるかのように重ねて表示することができます。
これはMRデバイスHoloLensがiPhoneに内蔵されているようなものです。HoloLensにあって足りないのは、「コントローラーを用いない操作方法（インタラクションシステム）」だといえます。HoloLensは頭の動きと指の動きで「クリック」、「ドラッグ」などお馴染みの操作ができます。
今回明らかになった新しい特許はまさにこの欠点を補う、深度センサーを用いたジェスチャー認識システムです。
システムでは反射させた光からデータを取り出し、周囲の深度マッピングを計算します。
ハンドジェスチャーをゲームに活用
特許では「こうした深度マッピングがビデオゲームに適用される可能性がある」と記述されており、「様々な手のジェスチャーを用いてゲームとインタラクトすることを主題とし、深度マッピングはそのジェスチャーの識別に用いられる」としています。
特許ではARに関する言及はありませんが、ジェスチャー認識はARにも適した技術といえます。例えばHoloLensでは、手を動かすことによりメニューを開く、オブジェクトとインタラクションをする、といったことができます。
ARKitのようにユーザーが簡単に開発できるような環境が整えば、ジェスチャーを用いた様々なコンテンツが表現されることが期待されます。
(参考)
UploadVR / Apple Patent Reveals Gesture Recognition System Using Depth Sensing(英語)
https://uploadvr.com/apple-patent-reveals-gesture-recognition-system-using-depth-sensing/
