2024年5月28日、「XR Kaigi Hub in 大阪」が開催されました。「XR Kaigi Hub in 大阪」は株式会社Mogura主催の日本最大級のXR/メタバースをテーマとしたカンファレンス「XR Kaigi」の姉妹イベント。大阪市都島区の会場で、展示会やXR/メタバースの最新動向を学べるセッション、交流会等が実施されました。
今回は当日のセッション「クリエイターの表現を拡張するXRとは」をレポート。登壇者は、株式会社 Skeleton Crew Studio スタジオマネージャーである石川武志氏と、映像ユニットTOCHKA(トーチカ)として活動する映像作家、大阪電気通信大学教員 ナガタタケシ氏です。
登壇者らは現役で活躍するクリエイター
冒頭、石川氏は所属する株式会社Skeleton Crew Studioの紹介を行いました。
株式会社Skeleton Crew Studioは京都にオフィスを構える開発企業です。「GAMEで世界に橋をかける!」をビジョンに掲げ、多くの外国人スタッフを採用。ゲーム開発を事業の主軸としながらVR/ARコンテンツ等を開発しています。また、京都でのインディーゲームイベント「BitSummit」を主催し、クリエイターコミュニティ運営の実績も有しています。
石川氏によれば、Skeleton Crew Studioは「人とのつながりを大切にしながら、コンテンツを作っている」とのこと。ガンダムプラモデルをテーマとしたVRコンテンツ『GANPLA PRESENTATION VR』や、車メーカー・SUZUKI主催バイクショーケースのメタバース空間制作等を手がけているほか、WebベースでのARコンテンツ需要が増えてきていることに対応して『8thwall』等、複数の開発環境を使ってAR開発にも取り組んでいます。
続いて、ナガタ氏が登場。ナガタ氏は大阪電気通信大学 総合情報学部 ゲーム&メディア学科に准教授として所属し、学生たちに2DCGや3DCGを使ったゲーム開発を指導しています。担当学生は東京ゲームショーでの出展作品制作等に取り組んでいるとのこと。また、学生と共に同大学公認VTuber制作を担当し、大学の広報活動も行っています。
同時に、アーティストとしても約15年間にわたり活動中。映像ユニットTOCHKA(トーチカ)を結成しており、懐中電灯の光を撮影し空中に絵を描くワークショップは、小学校の図画工作の教科書や、中学校高校美術の教科書で取り上げられています。
クリエイターの可能性を広げるXR事例を紹介
石川氏とナガタ氏の両名は連携しながら、多くのXRコンテンツを制作してきました。両名はここから、それらの作品と制作背景を解説していきます。
『落語AR』
まず、1つ目の事例はARコンテンツ「落語AR」です。
ナガタ氏は「開発当時、落語がブームだったが、東京の落語ではない大阪らしいラフな『上方落語』を多くの人に伝えたい」と考えていたそう。当時、落語家らを招待しリアルイベントを開催していた石川氏に声をかけ、開発が始まりました。出演落語家には桂米紫(べいし)師匠に依頼。キャラクターデザインは石川氏の教え子である宮城康助氏が担当しています。
手や指、顔の動きのモーションキャプチャー撮影は、大阪電気通信大学のスタジオにて行われました。本スタジオは関西最大級の大きさで、20台以上のカメラが用意されています。
ナガタ氏は『落語AR』について、「視聴者のフィードバックが記録され、他の人が見ても、その記録されたタイミングでフィードバックが表示される機能を実装しています。また、早送りや巻き戻し機能も備わっており、今後はARコンテンツを動画コンテンツのようにユーザーが購入できる仕組みにできないかと考えています」と解説しました。
『CREATIVE GARDEN KYOTO』
2つ目の事例として、京都府主催のARアート作品展である「CREATIVE GARDEN KYOTO」が紹介されました。
石川氏によると、京都府は「最先端デジタル技術を産業振興でどう使えるか」という視点でXR利用に力を入れているとのこと。その取り組みの一環として、「CREATIVE GARDEN KYOTO」はXRコンテンツクリエイターの作品を京都の街に置いていくプロジェクトとなっています。
「すでに漫画やゲームを作っているクリエイターが、そのゲームに登場するキャラクターをARとして街に出現させれば新しいコミュニケーションが生まれるのではないか。あるいは、広告やグラフィックのみで3D表現活動をしていたグラフィックデザイナーやイラストレーターが、今までのデータをARに置き換えて表現できないか。そういった『表現の拡張』をテーマに、京都府の方々と我々で一緒に取り組ませていただきました」(石川氏)
本作品展では、AR/VRクリエイティブプラットフォーム「STYLY」を使用しています。
「イラストレーターや2Dデザイナーの方々は、XRという選択肢があっても『プログラミングが必要だろうから、きっと自分たちには理解できない』と『できませんモード』に一気に入っていく傾向があります。でも、彼らとXRとの接点を設けるちょっとした工夫で、表現領域は広がります。僕自身がもともとイラストレーションやグラフィックデザイン領域から、ゲーム開発企業に入ってXR領域で仕事をしている立場なので、彼らとXRとの接点を作りやすい」(石川氏)
上記のYouTube動画の3:00前後から始まるARコンテンツは、インディーゲームクリエイターが作る育成ゲーム「ことだま日記」のキャラクターが現実世界に飛び出してくるというもの。遠方からこのコンテンツのために京都に来るファンの姿に、石川氏も「驚いた」と言います。
このキャラクターは本来2Dピクセルアートでしたが、ナガタ氏が立体的に加工し、GIFアニメーションとして展開。「STYLY」はすでに京都駅前の広場を3D空間として保存しているため、QRコード不要でアプリを起動するのみで自動的にARコンテンツ表示が可能となっていました。
そのほか、観光名所の天橋立でもARアート展示を実施。石川氏は「クリエイターも広い空間で自身のアートをここまで展開できると思ってなかったはずなので、喜んでもらったと思う」と、イベントを振り返りました。
『新千歳空港国際アニメーション映画祭』
石川氏とナガタ氏は「CREATIVE GARDEN KYOTO」での展示作品を移植する形で、他の場所にパッケージとして持ち出すことにも取り組んでいます。
ナガタ氏が選考委員として参加する「新千歳空港国際アニメーション映画祭」の展示イベントには、「ことだま日記」ARがNiantic提供の「8thwall」に移植され、Webブラウザ体験としてAR展示されました。
また、ナガタ氏は本映画祭の公式トレーラー映像制作を、VRクレイアニメーションクリエイターに依頼しました。
「依頼したクリエイターは、モデリングソフトをあまり使わずに、粘土に近い感覚でCGを作るアーティストです。この公式トレーラー映像作品をARで遊べるように、私がコンテンツに落とし込みました」(ナガタ氏)
このARエフェクトは、Meta社が展開するAR制作プラットフォーム「Spark AR」を用いています。
「Instagramはとても簡単にARコンテンツが展開できるプラットフォームです。容量制限は4MB。作品を圧縮する点が難しいですが、その分、手軽にフィルターを実装してもらえて拡散できる点が魅力的です。私達もよく使っています」(ナガタ氏)
ナガタ氏は様々なアーティストとコラボし、作品のAR化を後押ししています。アニメーション作家の羅絲佳 <ラ・シカ>氏の作品は、特定の壁の位置情報を元に空間上にAR表示できるように設定されました。
アーティスト・岡田将充氏は、現実ではありえないバランスで成立しているオブジェを平面作品としてデザインしています。ARではこの作品も目の前に出現します。
石川氏は「これらの作品群をパブリックアートとして、立体展示しようとすると非常にコストがかかります。しかしARを用いればコスト面や安全面も気にせずに展示でき、あらゆる場所で展開がしやすい」と語りました。
『STREET WRITER』
最後に取り上げる事例は、ARWebアプリ「STREET WRITER」です。本アプリはナガタ氏が所属する映像ユニットTOCHKA(トーチカ)がアニメーション制作ツールとして開発しています。
「STREET WRITER」は、スマホやタブレットのカメラを通して空間に匿名で「落書き」できるアプリ。複数人での同時使用が可能で、誰かが描いた絵への上書きや消去もできます。法的な制約やプライバシーを気にせず、落書きできる体験を提供するために考案され、今後は教育やアートセラピーの支援ツールとしての展開を考えているとのことです。
ナガタ氏はもともと、懐中電灯の光を動かして撮影し、空中に絵を描くというアート作品を制作していました。石川氏は「なぜXRへと表現方法を拡張したのか?」とナガタ氏にその理由を尋ねます。
「ライトを動かして何もない空間に『光の落書き』を書く表現方法だと、(時間が経過した)写真を通してしか完成作品が見えません。今まで撮影して見えるようにしていた作品を、その場で(リアルタイムに)もっと手軽に可視化できないかと考えた延長線上にARがありました」(ナガタ氏)
「STREET WRITER」はNianticの「8thwall」を採用。バーチャル・ポジショニング・システム(VPS / Visual Positioning System)を活用し、映像の位置情報とGPS情報を一致させ、AR上で落書きを可視化できるWebアプリとして開発しました。あらかじめスキャンしている空間であれば、デバイスをかざすと画面上の物体に絵が描けます。
ナガタ氏によると「現状、フレームレートが遅くカクカクとした動きになっていますが、(スマホの)スペックが上がってくればもうちょっと滑らかに動作するはず」とのこと。
石川氏も「このARアプリの特徴は、何十人も同時に同じものを見て書き込めるという点です。もともと壁に書くグラフィティは、そこで暮らす人々の縄張りを示すもの。現代ではファッション性も帯びていますが、今改めて自分の痕跡を残していく点に意味があると感じます。また、XRやデジタルツールで実行でき誰にも迷惑をかけない点も特徴的です」と解説を加えます。
ナガタ氏は「この作品の基本的なコンセプトは『人間性を取り返そう』です。AIではなく、人間が描いて、消して、アップデートして都市に痕跡を残していくことがアートとしての意義かなと思っています」とも語りました。
(画像:前述の新千歳空港での展示。最終日にはAR上の至る所に落書きがあった)
2024年4月20日、奈良県のなら100年会館にて開催された2025年大阪・関西万博開幕前イベントでも、「STREET WRITER」が活用されたとのこと。リアルタイムでAR上の落書きが表示されたスクリーンを背景に、トークセッションが開催されました。
「XR×アート」はこれからどうなる?
セッション終盤では、「XRがどのようにクリエイターの表現に影響していくのか」というテーマで両氏の意見が交わされました。
コンテンツをXRで表現するメリット
石川氏(以下、石川):
大学の講義でもXR開発を教えてるということですが、学生さんやクリエイターの反応はどうでしょうか?
ナガタ氏(以下、ナガタ):
中学生や高校生に教えているのですが、「自分で簡単にできるんだ」と驚いていますね。授業では「Spark AR」をよく使うのですが、Unityの中のAR構築部分だけをギュッと詰め込んだようなインターフェースになっていて、学生でも割と簡単に扱えます。
石川:
僕は「コンテンツは常に存在する」と思っています。クリエイター人口の中でイラストレーターの比率はかなり高いはですが、平面の表現から一歩抜け出せない方も多いです。加えて「新しいテクノロジーやAIの出現によって、仕事がなくなるのでは?」と考える方もいるのですが、僕自身は逆に新しい表現が生まれるきっかけになるのではないかと思っています。
紹介した京都府との取り組みでは、京都駅から烏丸御池駅近くの京都国際マンガミュージアムまでの道中に、学生さんが描いた2DイラストをAR空間上に並べて、ストリートミュージアムのように表示できるアプリを作りました。何百人いたら何百の作品が既に世の中には存在しています。部屋を借りて作品を飾ると、かなりの時間と労力とコストを使ってしまいますが、ARを活用すれば既に存在しているコンテンツを簡単にテクノロジーで表現できます。ただ、なかなかチャレンジできていないのが現状ですね。
ナガタ:
そうですね。おそらく、まだブレークスルーが起きていない。だからこそ、今やっておくと役に立つと思うので、クリエイターを目指す人たちは簡単なツールでも始めてみると発見がすごく多いと思います。
使いやすい開発環境の選択を
ナガタ:
一方で、これからARに取り組む人には、言語の壁が大きいと思います。例えば「SparkAR」は操作が簡単とはいえ、説明がすべて英語です。
「STYLY」のような日本人が日本で作っているプラットフォームの方が、日本語の情報がたくさん存在すると思います。そういった言語面も、プラットフォームの選択が違ってくるのではないでしょうか。
石川:
なるほど。「STYLY」ではARクリエイターを育てるためのスクール事業もされていて、輩出アーティストも増えてきていますよね。ARをやってみたい方は、そういったスクールに入ってもいいですね。ブラウザでARを体験できる「8thwall」の特徴はどういったところでしょうか?
ナガタ:
私が知っている限りの情報ですが、「Webブラウザやスマートフォンで見れるARコンテンツを、Webブラウザ上で制作できる」「UnityのSDKもある」(※)といった点でしょうか。ソフトウェアのインストール不要で、PCとネット環境があれば開発環境ができます。ただし少しだけ、プログラム知識が必要にはなります。と言いつつも、「何を表示して、サイズはこれで、ここに出す」といった簡単なプログラムの1行だけで十分です。
※2024年6月、Nianticは8th Wallを使ったブラウザでAR体験を作ることができる独自ツール「Niantic Studio」を発表している。
石川:
誰にでも開かれているプラットフォームと言えますね。これからは、ローコードやノーコードの開発環境がどんどんと増えていくとも感じています。
メタバースやXRは表現にどう作用するのか
石川:話は変わりますが、ナガタさんは「XR」と「メタバース」の言葉の使い分けは意識されていますか?
ナガタ:
メタバースは座って体験するという感覚が強いです。一方で、XRは自分が能動的に動くイメージがあります。ただ、特に区別する必要性もないかなと感じています。
メタバースには「社会をつくる」という命題を感じますね。経済的活動のための場所にしようとする動きもあるので、アートをNFTにして売るといった行為とはすごく親和性が高いと思います。他方、XRは場所やイベントに紐づいて、その瞬間の体験を作り出す良さがあると考えています。
石川:
「クリエイターにどう作用してくるか」という視点だと、接点を作りやすいのはXRかもしれません。
メタバースは広い仮想空間を使うイメージが先行するので、テクノロジーにあまりわかっていないクリエイターにとっては、介入するのが難しいと感じると思います。一方で、XR領域はシンプルな行動に対するフィードバックが表示される仕組みなので、クリエイターにとっては理解しやすい。表現にはシンプルな可視化と体験性が重要なので、結果的に、僕たちの取り組みでもAR領域が多くなっています。
そうなってくると、これからの作り手たちがどのような表現をスタート地点に据えるかも変化してきますか?
ナガタ:
そうですね。大きいものを描きたいと思ったら、昔は大きいキャンバスに描けばよかったです。現代のデジタルアートでは、どんなに頑張ってもデバイスサイズの障壁がありました。でも(物理的な障壁を超えられる)AR/VRであれば、ダイナミックな作品をどんどん作って発表できます。クリエイターにとっては、その影響は大きいと思っています。
また、若い人たちはデバイスに見合った小さいサイズでアートを表現することに慣れています。僕たちの世代は無意識に大きいものには価値があるという感覚を持っていますが、若い世代には全く違う価値観があります。その価値観をXRでどう表現していくか、楽しみでもありますね。
(了)