7月26日、WebAR開発プラットフォームの8th Wallがハンドトラッキングに対応しました。ユーザーの手や指に合わせたインタラクションや特殊効果などが制作可能です。サンプルプロジェクトはA-Frame版とthree.js版が公開されており、公式ドキュメントも展開されています。
（出所：8th Wall。以下同じ）
8th Wallによれば、ハンドトラッキング機能を使うことで「何十ものアタッチメントポイント、適応型ハンドメッシュ、スキンスムージングのためのカメラピクセルにアクセスし、それぞれの（AR）体験を微調整」できます。
デフォルトで36個のアタッチメントポイントを備える
8th Wallのハンドトラッキングは、指や手のひらに加え、手の甲、手首までカバーします。初期設定でも各指に最大7つのアタッチメントポイント（画面に表示したい3Dオブジェクトの位置と回転を制御するための接着点）を備えており、表示したいARオブジェクトを、短時間で手に固定できます。
ユーザーの手の大きさに合わせたメッシュデータ生成
さらに、ユーザーごとにパーソナライズされたハンドメッシュデータを動的生成し、ARオブジェクトを取り付けられます。ユーザーの手の大きさ・体積に合わせて、自動で拡大・縮小するARコンテンツを開発できます。
パペット、特殊効果、試着などに利用可能
8th Wallは、このハンドトラッキング機能に物理法則やオクルージョン、ハンドアンカーを組み合わせることで、複数のユースケースが想定できるとしています。
「手」をインターフェースとしたAR体験
「手に取る」「動かす」「押す」といったインタラクションを含むARコンテンツが開発できます。主にゲームや広告キャンペーン、教育利用などを想定しています。
指人形・ハンドマスク
画面表示する手の大きさや形状、質感もデザインできます。8th Wallは、例えば「怪物のような大きさの手、シンプルな人形に複雑な人形、スポーツイベント用の発泡スチロールの指など」が制作できるとしています。特撮映像や児童演劇など、パペット全般を用いた演出に応用できます。
手指を用いた特殊効果
両手をトラッキング対象とし、表示オブジェクトを操作するような演出も行えます。8th Wallは「光の球体を両手で包み込む」「指先からレーザー光線を放つ」「親指を気まぐれなライターに変身させる」といった例を挙げています。ショート動画やライブ配信の演出などにも活用できると見られます。
バーチャル試着
指輪やブレスレット、腕時計といった、複数のARオブジェクトを同時に試着できます。舞台衣装やコスプレ、作業服といった、組み合わせが複雑なファッションへの応用も期待されます。
WebARコンテンツの開発サポートが進む
8th Wallは米国カリフォルニア州で2016年に創業し、2022年3月にNianticと合併。GoogleやApple、Metaといった大手プラットフォームに依存しない、独自のWebAR開発ツール「8th Wall」を制作・提供しています。
今年3月には画面内で「空」を識別できる「Sky Effects」と、表示域全体の3次元位置推定が行える「World Tracking」をリリース。6月にはパススルー表示対応やマルチプレイヤー対応を発表するなど、高度なWebARをより簡易に開発するための機能拡充を進めています。
（参考）Niantic
