国内最大手の自動車部品サプライヤーの株式会社デンソーは、現在、製造工程においてXRや生成AIを活用したロボット開発を進行しており、刻々と変わりゆく製造業に柔軟に対応する方法を模索している。本記事では、その中から生まれたVR/MRヘッドセット「Meta Quest 3」と生成AIロボット「Jullie」を組み合わせた新たな活用事例を紹介。また本プロジェクトを実施した、クラウドサービス開発部に、その狙いについても話を伺った。
市場の変化に対応するものづくり
（左から先端技能開発部 デザイン実証室：入口 和哉氏、クラウドサービス開発部 ビジネスイノベーション室長：池田 光邦氏、クラウドサービス開発部 担当係長：鈴木一帆氏）
移動手段の多様化、自動運転、コネクテッドなど、自動車業界では市場の変化への対応が求められている。その背景を受け、クラウドサービス開発部 室長の池田 光邦氏は次のように話す。
「製造の現場では、今まで通りの決まりきった製造ラインだけではなく、ロボットなどの先進的な技術を導入したり、新しい働き方を取り入れたりと、時代のさまざまな変化に対応できる環境を整え、持続的な成長を目指しています。例えば、XRを活用して空間視覚情報を持ち出し可能なコンテンツにしたり、すべてのものにアクセス可能な動的情報を付与し、可視化される世界をつくろうとしています。」
（クラウドサービス開発部 ビジネスイノベーション室長：池田 光邦氏）
デンソーの工場内に目を向けると、今まで短納期で安定した製造ラインの立ち上げ、数量変動に対応できる人材育成などの課題があった。その解決に向けたXR活用の事例について、クラウドサービス開発部 担当係長の鈴木一帆氏は、このように語る。
「開発・設計の成果物を複数の参加者で審査するデザインレビュー（DR）は、今まで2Dの図面を使っていました。しかし、2Dのデータは正直とてもわかりにくく、その結果、作業者からの改善案が出づらく、制作後にやり直しが発生していました。
そこで、課題解決の手段としてMeta Quest 3のヘッドセットを使い、3Dのバーチャル空間で設備を見える化しました。これにより、改善案を早期抽出できるようになり、設備ができる前から実際の作業標準の妥当性の判断や作業訓練も可能になりました。また、人材育成の面では、ルーティンワークを好まない若い社員にも有効だと感じています。Meta Quest 3を装着することで、バーチャル空間においてお手本の作業を体験でき、訓練の成果が点数でわかるなど、ゲーミフィケーション要素があるVR教育を行うことで、学びに興味を持たせることができています」
（製造現場における活用方法を話す、クラウドサービス開発部 担当係長：鈴木一帆氏）
ライン設備をオンラインでつなぐことでメタバース化を実現し、バーチャル空間でシミュレーションを実施するなど、ものづくりの現場も市場の変化に併せて日々進化している。また、鈴木氏はMeta Quest 3を採用した理由も語ってくれた。
「Meta Quest 3を採用した理由としては、一般的に普及している製品であったことが大きいですね。世の中に数が多く出ていて、大きなユーザーコミュニティもあり、開発者にとっては情報が豊富にそろっています。その結果、作業工数が大幅に削減できました。また、他社製品に比べ手に入りやすい価格帯なので、実際に触って実験できる環境も整えやすいことからMeta Quest 3を導入しました」
新しいロボットにおける空間情報の活用例
（先端技能開発部 デザイン実証室：入口 和哉氏）
デンソーの挑戦は、自社工場内だけにとどまらず、Generative-AI-Robot Technologyを使用したロボット「JulIie」の開発・運用にも発展している。
IoTやAIの進化により、従来の工場内で決められた動きをするロボットから、人や周囲の状況を判断して自立行動する汎用的なロボットへと発展した。さらには店舗やイベントで「販売員」として人と一緒に働きながら接客を行うロボットが実現するなど、一般の方々の目に触れる活用シーンも広がっている。
Meta Quest 3は、仮想空間でのシミュレーションなどリアルな体験を含めた新しいデジタルツインを行うのに欠かせないツールだと、先端技能開発部 デザイン実証室 入口 和哉氏は話す。
「ロボットを扱う上で課題だったのは、実際の現場で実機をティーチングする（ロボットにプログラムを与えて、決まった座標、動作軌跡の生成、現場へのマッチングなど目的の動作が行えるように教え込む）作業が発生することでした。イベント会場などではセットアップの時間がないことや、物の配置やレイアウトも変わるので難易度が高かったです。
Meta Quest 3を導入したきっかけは、XRのエキスパートがメンバーに加わったこと。VRヘッドセットをかけてダイレクトにティーチングを行ったら、より直感的に作業ができるようになりました。これまで現地での作業時間として事前プログラム作成にかかっていた時間が、2日から1日になり、またティーチングが1日から現場での約15分前後の確認のみになり、短時間で作り込むことができるようになりました」
リアルとバーチャルの融合はまだ進化の途上ではあるが、短時間で効率的な方法がMeta Quest 3を活用することによって生まれている。
XRと生成AIで紡ぐ新しい産業の姿
（イベントでMeta Questを着用し、シミュレーションを実演する入口氏）
最後に、今後の生成AIロボットとXRの融合について、それぞれ意見を伺った。
「生成AIとロボット、そしてMeta Quest 3の活用は、何かが良くなったというよりは、これらの組み合わせがなければ実現できなかったレベルのことばかりです。これらの最新技術を活用するのは大変だ、という想像からまだ導入していない企業も多いと思いますが、これは体験しないとわからない世界です。
例えば、VRヘッドセットに生成AIで文字情報を映して、一目でいろいろな情報がわかるのは、まるでSFのような世界観です。私たちもアニメや映画の世界で出てきたロボットなどが現実になったらいいなといったモチベーションで取り組んでいるので、いろいろな人がこの体験を共有しアイデアを出し合えたら嬉しいですね」（鈴木氏）
「本当にどこに情報が転がっているかわからないので、アンテナを広げていろいろなことに挑戦してみて欲しいと企業の担当者の方々には言いたいですね。私自身、はじめからAIやXRを業務でやろうと思っていたわけではなくて、ロボット開発を進めていく上で自分のためにやっていたことが、各方面に面白がっていただき、それこそ鈴木さんと連携できなかったら、今でも2Dで止まっていたかもしれません。リアルタイム 3Dのシミュレーションについても、携わっている他のプロジェクトの業務からインスパイアされて応用で作るなど、いろいろな経験が今につながっています。何事もチャレンジは大事ですね」（入口氏）
「今回、クラウドサービス開発部と先端技能開発部がそれぞれ行っていた『VRを使った見える化』のノウハウが合わさって、製造現場での働き方が変わり、ロボットとの付き合い方も変わるきっかけになりました。工場内の閉じられた空間の中だけのプロジェクトではなく、認知を広げ世の中からフィードバックを得るためにもGenerative-AI-Robot Technologyを使用したJulIieが生まれました。今後も情報をオープンにすることで、さらなるブレイクスルーが生まれることに期待しています」（池田氏）
Meta Questの産業活用事例をXR Kaigi 2024で発表
生成AIロボットとXRの融合を進めるデンソー。本プロジェクトにおける知見を発表するため、株式会社理経と共同でXR・メタバースを含むバーチャル領域カンファレンス「XR Kaigi 2024」に参加した。
株式会社理経は、XR分野の技術開発に取り組む企業だ。特に製造業向けのプロジェクトを強みとしており、デザイン・シミュレーション・トレーニング開発に特化している。またMetaのWork Partnerとして、Meta Quest 3/3Sや管理ツール「Quest for Business」の提供、生成AI「Meta Llama3」を用いた開発も行っている。
XR Kaigi 2024では「空間コンピューティング × AI」をテーマにしたセッションに登壇。デンソーの鈴木氏と入口氏、株式会社理経執行役員であり、次世代事業開発部長 兼 経営企画室長の石川氏が、Meta Quest 3産業活用事例に関する知見や開発経緯を語った。
さらに両社はXR Kaigi 2024のエキスポフロアにブースを出展し、Meta Questを活用したロボットティーチングや組み立てトレーニング「Metassembly」を公開した。本トレーニングは、Unreal Engineで開発され、MRモードのハンドトラッキングを活用しながら複数人で組み立てシミュレーションが可能に。さらに生成AIを活用し、組み立てに関するアドバイスや手順をMR上でユーザーに表示できる。
「生成AI×XR×ロボット」が具体化された展示は、多くの来場者から注目を集めていた。
本記事で紹介した活用事例やXRの活用・導入に関するお問い合わせは、株式会社理経まで。
株式会社理経
次世代事業開発部
E-mail：[email protected]
