VRChatのアバター改変をAIがサポート・自動化するUnityエディタ拡張「Unity AI Agent」が、BOOTHにて無料公開されました。配布ページには実際の動作イメージも掲載されています。
本ツールはLLMのAPIを活用したエージェント型のエディタ拡張です。ユーザーが自然な言葉で指示を入力すると、AIがその内容を解釈し、Unityエディタ上でオブジェクトやコンポーネントを直接操作します。「このオブジェクトの設定を変更して」といった指示に対応しており、これまで手作業で行っていた複数のステップを省略できます。開発にあたっては複数のLLM APIを検証し、自然言語をUnity操作へ変換する仕組みを構築したとのことです。
ツールはVRChatコミュニティに広く使ってもらいたいという考えのもと、誰でも無料でダウンロードできるかたちで公開されています。BOOTHの配布ページでは、実際の動作イメージも確認できます。
実際に使ってみた
ここからは、実際に「Unity AI Agent」を使ってアバター改変を行う方法を説明します。
今回は筆者のアバター「Lapwing」の髪の色を、「Unity AI Agent」で変更してみます。同アプリは様々なAIプロバイダに対応していますが、今回は開発者の朔さくパンダさんが推奨する「Gemini」に改変を“お願い”してみます。
（「Unity AI Agent」の基本画面）
「Unity AI Agent」を使用する際はシェーダー「lilToon」と改変ツール「Modular Avatar」が必要なので事前にインストールしておきます。
朔さくパンダさんは「Unity AI Agent」では、基本的に「Google AI Studio APIキー」を使って「Gemini」を使用することを推奨していますが、筆者の環境ではAPIキーが上手く動作しませんでした。なので今回は設定を切り替えて、Webブラウザ連携モードで「Gemini」を使用しています。
Webブラウザ連携で「Unity AI Agent」を使う場合は、まず同アプリの設定欄にある“プロバイダ”を「Web Browser」に切り替え。次に、ブラウザ側に朔さくパンダさんが公開しているアドオンをインストールした後、ブラウザ側で「Gemini」にアクセスすることで、使用準備が完了します。
（アプリの設定画面。赤い部分を切り替えると…）
（Webブラウザ側のAIと連携できるようになります）
なおAIによる作業中は、「Gemini」を開いたブラウザタブを展開していないと動作が止まってしまうようなので注意してください。
では「Lapwing」の髪色変更をAIに設定してもらいます。筆者はまずヒエラルキーに配置したアバターを選んで「このアバターの髪を黒色に変更してください」とチャット欄に入力しました。ただ、このプロンプトだと、実際にはアバターの髪色は変化しませんでした。AI側は、チャットで改変が完了したことを伝えてくるのですが、「Unity」上のアバターには変化が生じなかった形です。
（Geminiは改変できるとして作業を進めるのですが）
（実際には髪色は変わりませんでした）
なので次は「新しいlapwingをヒエラルキーに展開してください」と入力した後、「そのlapwingの髪色を黒色に変えてください」としましたが、変化なし。そこで少しやり方を変えて、「lapwingの髪に使用されているマテリアルを黒色に変えてください」と指示してみました。
「Unity AI Agent」は、この入力には上手く“反応”。チャット画面上で改変が進んでいることが表示され、約2分程度で「Lapwing」の髪色が以下のように変化しました。
（マテリアルの変更を指定すると作業が進み）
（ちゃんと髪色が変化！）
「Unity AI Agent」の最大の特徴は、これまで手作業で行う必要があった、アバターのヒエラルキーへの移動や、マテリアル欄を開いて数値を変更するといった作業を、AIに“投げる”ことができる点です。今回はテストとして髪の色（マテリアルカラー）を変更しましたが、ほかにもアバターの最適化やアニメーションクリップの作成などにも対応しており、状況に応じて幅広い使い方ができるようになっています。
ただ先述した通り、プロンプトによっては上手く動作しないこともあるので、このあたりの精度が向上すれば、より万人向けのツールになるかと思います。将来的には、まずAIに大まかな改変や調整をやってもらい、細部を自分で調整するといった流れが、改変プロセスの主流になるかもしれません。
※個々のアバターの改変に関する規約は、各ショップの利用規約をご確認ください。
参考
https://ajisaiflow.booth.pm/items/7993112
もぐら関連記事
