Home » 表情のクセから何気ない仕草まで再現 VIVEトラッカー3.0+フェイシャルトラッカーに感動


VIVE 2021.04.23

表情のクセから何気ない仕草まで再現 VIVEトラッカー3.0+フェイシャルトラッカーに感動

4月9日HTC社より発売された、「VIVEトラッカー3.0」と「VIVEフェイシャルトラッカー」は、いずれも既存のVIVEシリーズと連動するオプションパーツです。

情報発表直後から大きな話題となり、どちらも発売直後に品切れ。とりわけ国内では、VTuberやソーシャルVRのユーザーから大きな注目を集めており、その熱量は国内でVIVEトラッカーが連日品切れとなっていた2018年を彷彿とさせます。

この注目のデバイスを、HTC NIPPON株式会社のオフィスで先行体験しました。本記事では体験レポートはもちろん、HTCの「VR上のプロモーション」の紹介、VIVEアンバサダーへのインタビューを交えて、最新デバイスの魅力に迫ります。

VIVEトラッカー3.0――「コントローラーを超えて」

体験会では、HTC NIPPON代表の児島全克さんからも2種のデバイスについて説明を受けました。

VIVEトラッカー3.0は、これまでも商品展開されていたVIVEトラッカーの3世代目。物や身体に装着することで、自分の現実の動きをバーチャルのキャラクターと同期できるデバイスです。日本国内においてはVTuber向けの需要が顕著でしたが、世界的に見ると、サッカートレーニングやNASAのシミュレーション、警察訓練や医療訓練などに幅広く活用されてきました。

先代であるVIVEトラッカー2018(写真:右)と比較して、VIVEトラッカー3.0(写真:左)の特長は「小型・軽量化」と「電池寿命の長時間化」です。33%の小型化と15%の軽量化を果たした上で、電池寿命は75%もアップ。従来は3~4時間ほどが最大稼働時間でしたが、3.0では7時間程度まで向上しています。基本性能は据え置きで、従来と変わらないトラッキング精度を維持しているとのことです。


(裏側のインターフェイスは変更なし。完全互換となっているため、一切構成を変えることなく置換可能)

販売価格は税込で17,500円。VIVEトラッカー2018よりも5000円ほど値上がりしています。基本性能は同一ということもあり、3.0と2018は併売されるとのことです。

実際、3.0は予約販売が始まってから3時間後には売り切れてしまったそうです。トラッカーを使用してVTuber活動しているユーザーに「購入の決め手」について尋ねてみたところ、最大の決め手は「電池寿命の長時間化」だったとのことでした。

VIVEフェイシャルトラッカー――「ことばより豊かに」

VIVEフェイシャルトラッカーは、その名の通り顔の動きを同期するデバイス。同社にこれまでにないカテゴリのデバイスとして発表され話題となりました。

同期できる対象は鼻から下の範囲すべて。口の動きのみならず、頬のふくらみや舌の出し入れといった動きまで検知可能です。

検知・送信された画像は、SRanipalによって38種のブレンドシェイプ(※)のパラメーターとして生成され、アバターに反映されることで表情が変化していく仕組みとなっています。ブレンドシェイプはひとつひとつが小さな表情の差異ですが、これを最大38も掛け合わせることで、人間の表情パターンはほぼほぼ網羅できるとのことです。ディレイも6ミリ秒程度で、これは「ほぼゼロ」なのだとか。

※ブレンドシェイプ…事前に複数の表情モデルを用意し、それらの形をパラメーターの調整で組み合わせるアニメーション手法のひとつ。

裏側のカメラ部分はこのようにフラットな構造となっています。掃除がしやすいため、メンテナンス性の高さも売りです。

装着できるVR HMDはVIVE ProとVIVE Pro Eyeの2種のみ。しかし、オフィシャルではないもののこれ以外のHMDにも対応しており、今後装着できるHMDは増やしていくかもしれないとのことでした。

サッカートレーニングでVIVEトラッカー3.0を体験

いよいよ体験に入ります。

まずはVIVEトラッカー3.0を使って、VRサッカートレーニングシミュレーター「Rezzil Index」を体験しました。様々な種類のトレーニングが用意されており、その結果から得意な技術、苦手な技術をデータ化することまで可能なシミュレーター。実際にサッカークラブにて導入実績もあるとのことです。


(「Rezzil Index」※画像はイメージです)

プレイしてみると、ボールを蹴った時の挙動はとても正確。筆者はこの手の球技が大の苦手で、蹴ったボールが明後日の方向に飛んでいく、やるせない挙動まで見事に再現されていました!

「本物のサッカーボールを蹴った時と変わらない」と思わされたのは、もちろんトラッカーの性能あってのこと。トラッキング精度そのものは従来通り良好で、「足を動かし、ボールを蹴る」という一連の動作を違和感なく行えました。

小型化・軽量化したことで、トラッカー自体が揺れにくくなっているのか、足先がブレるなどの現象がほぼ見られませんでした。身体への負担感もそこそこ薄れています。

この「ブレにくさ」は、バーチャル空間で派手に動きたい際に非常に役立つと感じました。稼働時間が伸びたことも相まって、より運用しやすいトラッカーに進化したのではないかと思います。

圧巻のフェイシャルトラッカー体験

次に「SRanipal SDK」の動作テスト用のアプリケーションを用いて、VIVEフェイシャルトラッカーを体験しました。併用するVRヘッドセットは「VIVE Pro Eye」です。目と口元の動きを全て検知する完全な装備での体験となりました。


VIVE Pro Eye」…アイトラッキング機能を搭載したVRヘッドセット。アバターの目の動きやまばたきが連動可能です。


(体験時の様子)

感想としては「圧巻」の一言。文字通り顔のあらゆる動きをトレースしており、自分の表情が見事にアバターへと反映されていました。口の開閉はもちろん、舌を出して上下左右に動かす、ほっぺをふくらませる、あるいはしぼませる、口とがらせる、噛む……といったものまで完璧に反映されます。「人間の表情パターンはほぼほぼ網羅」は伊達ではないなと感心しきりでした。

児島さんから「笑顔がよく出てますね」という指摘をもらったのも印象的です。そこで気づいたのですが、大げさな表情だけでなく、表情の自然なクセまで再現できているのかもしれません

プリセットの表情では作れない、ナチュラルな「その人らしい」表情の再現は、とりわけVR空間上での対面コミュニケーションで非常に有用でしょう。

VIVEアンバサダーにも感想を聞いてみた

さらにVIVEアンバサダー(※)の方々にも、今回の新商品についてお話をうかがってみました。インタビューはバーチャルキャスト内の「HTCスタジオ」にて実施。スタジオにはVIVE製品の3Dモデルが配置されています。

※VIVEアンバサダー…主にVIVEの商品やイベントをPRする役割を担当。VTuberやVRタレントが多数参加。詳しくはこちら

今回お話をうかがうことができたのは、第2期VIVEアンバサダーの音無むおんさんと、第3期VIVEアンバサダーの焔魔るりさん、雲母ミミさんの3人。いずれも、現役のVTuberとして活動中で、3Dアバターを用いた活動を精力的に展開しています。


(左から順に筆者、音無むおんさん、雲母ミミさん、焔魔るりさん)

ちなみに今回、焔魔るりさんはフェイシャルトラッカーを装備しての参加。実際、口元の動き方は従来以上にナチュラルでかわいらしく見えました。

――VIVEトラッカー3.0が発表されたとき、みなさんが一番注目したのは何でしょうか?

焔魔るり:

バッテリー……かな?

雲母ミミ:

ちょうど昨日、VRChatでコラボ配信を5時間ぐらいやっていたんですけど、従来のトラッカーだとバッテリーが足りないんですよね。で、バッテリーが切れちゃうと途中でトラッキングが飛んで「うわー!」ってなってしまってました(笑)。 ですが、今回のトラッカーで、7時間もバッテリーがもつのは嬉しいですね!

――フェイシャルトラッカーの方はいかがでしょうか? 焔魔さんはちょうどフェイシャルトラッカーを使用されていますが。

焔魔るり:

(活動の幅が)めちゃめちゃ広がりました! 焔魔、1週間に1本歌動画を出していて、そのときにバーチャルキャストで収録したものを動画にして使っているんですね。以前は声を出さないと口が動かないので、同じ歌を1時間ぐらい歌い続けて素材を撮ったりしてたんですよ。でもフェイシャルトラッカーだと、口の動きも繊細にとれるので、曲によって口の開け方を変えることができるようになって、一時間も収録する必要がなくなったんです! 表現の幅も広がったので、めちゃめちゃ嬉しかったです!

音無むおん:

うわぁー! 私もめちゃめちゃ欲しい……。

――音無さんもバーチャルシンガーとしては気になりますか?

音無むおん:

そうですね。私は活動当初からVIVEを使わせていただいているんですけど、「VIVE Pro Eye」をレンタルさせていただいてから革命が起きたんですよ。眼球の動きとまばたき、いわゆるアイトラ(※アイトラッキング。文章前段で解説したものと同様)です。これで、目の動きがリアルになって、より人間らしい表現ができるようになりました。本当に感動したんですよ! レンタル期間が終わってからすぐに買いました(笑)。だから今(焔魔さんの話を)聞いてて、こっちも使いたいなって思いました……!

焔魔るり:

めっちゃいいです!!

雲母ミミ:

以前、フェイシャルトラッカーをお借りしたとき、舌を出せなかったのですが、これってアバターが対応していないからですか?

HTCスタッフ政田:

VRMファイルで読み込まれたアバターの場合は「あ・い・う・え・お」のパターンは組み込まれていて、それらの範囲では表現できます。一方でUnityなどで使用する場合は38種類のブレンドシェイプが組み込まれているので、舌出しなども表現可能になります。しかし、その場合は事前に表情の作り込みが必要ですね。

また例えば「NeosVR」(複数のユーザーと協力してコンテンツ制作やバーチャル空間の開発を行えるVRプラットフォーム)だと、対応してないアバターでも対応させることができてしまいます。なので、「NeosVR」で別のユーザーからアバターの表情パターンを組み込んでもらい、それをDLして別のプラットフォームでも使う……こともできますね。それから、舌出しなどは現状のバーチャルキャストだと対応していない段階ですね。

――フェイシャルトラッカーで表現できる範囲は、アバターやプラットフォームによって若干依存すると。

HTCスタッフ政田:

そうですね。「バーチャルキャストはVRMにのみ対応」といった仕様面の都合もありますし、今後のVRM側のアップデートなどには期待したいところです。

――最後の質問ですが、今回発売される新デバイスを使って、どんなことをやってみたいでしょうか?

音無むおん:

リアルなライブパフォーマンスやMVの撮影で、より繊細なものを作っていきたいと思っています。私はVRでシンガーとして活動していますけど、「バーチャルの存在」としてだけでなく、「普通のアーティスト」としても活動していきたいですね。バーチャルの強みって不可能なことはないってところで、そんなVRの強みと、トラッカーを使ったリアルなパフォーマンスを組み合わせて、新しい感動を伝えていきたいなって思っています!

雲母ミミ:

私は目標が「世界征服」でして、まずブラジル一国で10万人ちょっとチャンネル登録者数が増えたんですけど、これからもいろんな国を少しずつ攻めていこうと思っています。海外の方ってFacebookやTikTok、Instagramのユーザーが多いので、VIVEトラッカーやフェイシャルトラッカーを使って踊った動画を投稿したりといった活用をしていきたいですね!

焔魔るり:

焔魔は去年ワンマンライブをさせていただいたのですけど、VRでワンマンするときにVIVEトラッカーやVIVEフェイシャルトラッカーを使って、よりリアルなライブをみなさんにお届けできたらいいなーと思います! 口や手や目の動きがあるだけで伝わるものって増えると思うので、これからも活用していって活動を続けられたらなと思っています!

「表現」を進化させるキーアイテム

VIVEトラッカー3.0は、稼働時間の延長によって長時間運用に最適化されており、さらに小型化と軽量化によって運用上の負担が減りました。それでいて従来どおりのトラッキング精度を発揮しており、「正当進化」の評価がふさわしいデバイスとなっています。

とはいえ、価格はやや高くなっていることも踏まえると、ライトユーザーならば前世代でも大きな問題はありません。購入(特に買い替え)で損をすることはありませんが、VRコミュニケーションにより力を入れたい「ヘビーユーザー向けのアイテム」として見てもよいかもしれません。

一方のVIVEフェイシャルトラッカーは、2021年4月現在ではアバターおよびプラットフォーム側の対応と展開が待たれる状態ではありますが、Webカメラトラッキングをしのぐフェイシャルトラッキング能力には非の打ち所がありません。誇張抜きで、これは革新的なアイテムです。

どちらも、VR空間における「表現」をより進化させるキーアイテムになり得ると確信しました。ソーシャルVRに没頭したい人にとって、マストアイテムになることは間違いなしです。

購入サイトはこちら

執筆:浅田カズラ


VR/AR/VTuber専門メディア「Mogura」が今注目するキーワード