7月30日、名古屋で開催された「XR Kaigi」の姉妹イベント「XR Kaigi Hub in 名古屋」。本稿は、その中で行われた株式会社デンソーによる講演「XRと生成AIで紡ぐ新しい産業の姿」をレポートする。
自動車部品メーカーの雄であるデンソーが、XRと生成AIという最先端技術を駆使して、製造業の未来をどのように描き、変革しようとしているのか。同社でXR活用とロボット開発を牽引する鈴木一帆氏と入口氏の講演から、その具体的な取り組みと未来への展望を紐解いていく。
登壇者紹介
鈴木 一帆氏
株式会社デンソー クラウドサービス部。2012年に入社後、生産技術の領域でキャリアを積む。海外出向時にはDX推進担当としてVRアプリケーション開発を手がけ、現場の課題解決に貢献。2023年より現部署にてソフトウェア開発に従事し、製造現場で培った知見とソフトウェア技術を融合させた新たな価値創造に挑戦している。
入口 和哉氏
株式会社デンソー。2014年に入社以来、一貫してロボット開発に携わる。有名な「トマト収穫ロボット」の開発にも関わり、メカトロニクスとロボット制御のスペシャリストとして活躍。現在は、生成AIを搭載し、人と共存・協調するパートナーロボット「ジュリー」の開発をリードし、ロボティクスの新たな可能性を追求している。
デンソーが描く新しい産業
現代の製造業は、CASE（コネクテッド、自動運転、シェアリング、電動化）に代表される自動車業界の構造変化、不安定な社会情勢、材料費の高騰、そして深刻化する人手不足など、かつてないほどの急激な変化の波に直面している。このような時代において、デンソーは「まさかの変化に対応してくっていうところが非常に大切」であると捉え、持続的な成長を続けるための新たな物づくりを模索している。
その鍵を握るのが、XRと生成AIである。デンソーはXRの活用法を大きく2つに分類している。ひとつは「空間の視覚情報」の活用だ。遠隔地にあるものや設計段階の製品を、あたかも目の前にあるかのように再現し、体験可能にする。これは「目のウォークマン」とも表現できるアプローチである。
もうひとつは「空間コンピューティング」の活用だ。現実空間に存在するあらゆるモノにデジタル情報が付与され、アクセス可能になる世界観である。これにより、現実空間そのものがインタラクティブな情報空間へと拡張される。本講演では、これら2つのアプローチが、製造現場の課題をいかに解決し、産業の未来をどう変えていくのかが語られた。
VRで設計と教育を革新する
講演の前半では、鈴木氏が登壇。XRの活用アプローチのうち、前者の「空間の視覚情報」の活用事例として、VRを用いた設計レビューと技能教育の革新について紹介した。鈴木氏がベトナムの海外拠点に赴任していた当時、コロナ禍という未曾有の事態が現場を直撃した。
従来の製造業では、日本で開発・製造した生産設備を海外拠点へ送り、日本の技術者が現地で立ち上げるのが一般的だった。しかし、渡航制限により、それが不可能になったのだ。現地で設備を設計・製作し、日本のサポートなしで立ち上げるという困難なミッションが課せられた。
当時の設計レビューは、2D図面が中心だった。しかし、その図面は専門家でなければ理解が難しく「（製造担当者からすると）こんなものを見ても何も分からない」という課題があったそうだ。結果として、実際に設備を製作してから何回もやり直しが発生し時間を損失してしまったり、出費もかさんでしまったという。
この課題を解決したのが、VRデザインレビューである。設計中の設備を3Dモデルとしてバーチャル空間に配置し、関係者がアバターとなってその中に入り、レビューを行うのだ。バーチャル空間では、設備の大きさや作業スペースを直感的に把握できるだけでなく、実際に設備を動かしての動作検証やサイクルタイムの確認まで可能になる。これにより、設計段階で問題点を洗い出し、手戻りを大幅に削減することに成功した。
さらに、この取り組みは海外拠点との連携にも絶大な効果を発揮した。日本とベトナムの担当者が同じバーチャル空間に集い、あたかも隣にいるかのようにコミュニケーションを取りながらレビューを進めることができる。「日本にヘッドセットさえあれば、同じ空間の中に入って、『ここはこういう手順だよ』や『作業のポイントはこんな感じです』『ここはもっとこうした方がいいんじゃない』とコミュニケーションをとりながら対応できます」と鈴木氏は語り、物理的な距離を超えたコラボレーションの実現を強調した。
ゲーム感覚で楽しく学べ、離職率も改善
次に鈴木氏が挙げたのは、VRを活用した技能教育の事例だ。生産量の変動に対応するため、期間従業員を雇用することは多いが、人の入れ替わりが激しく、迅速な人材育成が常に課題となっていた。特に、Z世代（※1990〜2010年代前半に生まれた世代）の若手従業員からは「ルーチンワークが楽しくない」「待ち時間が多い」といった声が聞かれ、教育の途中で離職してしまうケースも少なくなかったという。
そこで開発されたのが、ゲーミフィケーションの要素を取り入れたVR教育アプリケーションだ。作業者はVRヘッドセットを装着し、バーチャル空間内で実際の作業を模擬訓練する。
「それこそマリオカートのゴースト機能のような感じで、作業した両手の動きをゴーストのようにして表示できるため、どのような手順で作業すべきかが非常に分かりやすくなっています」
お手本となる作業者の手の動きが「ゴースト」として表示され、学習者はそれを真似ることで直感的に正しい動作を習得できる。さらに、各動作はスコア化され、訓練の成果が客観的な点数としてフィードバックされる。これにより、学習者は自身の成長を可視化でき、ゲーム感覚で楽しみながら訓練に取り組むことが可能になった。
このVR教育は、トヨタ生産方式の思想にも通じているという。単に速く作業するだけでなく、定められたサイクルタイムの中で安定して作業を繰り返すことが重要であり、VR訓練ではその能力も評価・育成できる。
そして、VRならではの大きなメリットは、設備投資の抑制だ。従来は1台しかない高価な実機を研修生が順番で使うしかなかったが、VRであれば「エリアさえあれば無限に増やしてきれる」。数万円のVRヘッドセットさえあれば、何人でも同時に、かつ安全に訓練を行うことができる。紙のマニュアルを暗記する時代は終わり、このVR教育システムはベトナムの現場に定着し、離職率の改善にも貢献しているという。
生成AI搭載ロボット「ジュリー」とは
講演の後半は入口氏にバトンタッチし、デンソーが開発を進める生成AI搭載ロボット「ジュリー」と、それを支えるXR技術について語られた。
従来の産業用ロボットは、決められた位置で、プログラムされた同じ動作を高速かつ正確に繰り返すことに特化していた。しかし、AI技術、特に画像認識や生成AIの進化は、ロボットのあり方を根本から変えようとしている。
デンソーが開発する「ジュリー（Jullie）」は、生産ラインで黙々と作業をこなす機械ではなく、人の隣で共に生活し、作業を手伝う「パートナーとしてのアシスタント」を目指している。その最大の特徴は、生成AIを搭載することで、人間との自然な対話を通じて曖昧な指示を理解し、自律的に行動できる点にある。
「例えば、『このワークをあっち側に置いといて』という、ざっくりとした指示でも『このワークを掴んであちら側に置いておきますね』と動いてくれる。まさにAIが柔軟に対応して動いてくれるような、そういうロボットを開発しております」
これは単なる音声リモコンではない。ジュリーは、周囲の状況を認識し、障害物を避けながら最適な経路を自ら計画して動く。さらには、指示された作業を行うべきではないと判断する能力も持つ。人とロボットが真に共存する未来の姿が垣間見える。
画面の中だけでは評価できない、AIの柔軟な動き
しかし、ジュリーのような自律型ロボットの開発には、新たな課題も生まれる。それは、その性能をいかに評価するかという問題だ。ルールベースで動く従来のロボットは、シミュレーション上での定量的な評価が比較的容易だった。
一方で、ジュリーの動きは状況に応じて柔軟に変化するため、「考慮が必要なパターンが多くなりすぎて、事前に全て洗い出すことがかなり難しくなってきました」そうだ。シミュレーターの画面上で物理演算を行うだけでは、多様な環境や予期せぬ状況におけるロボットの振る舞いを十分に評価することはできない。
そこで重要になるのが、「リアルな体験を含めたデジタルツイン」という考え方だ。バーチャル空間に現実の環境を再現し、その中でロボットを動かしてみる。そして、開発者自身がその空間に入り、ロボットの動きを体験し、評価する。
「画面の中だけではなく、空間にロボットを実際に置いてみて、実際に動かして自分や周りの人の体験した感覚などのフィードバックも得ていく必要があります。ロボットやAIの進化に合わせた新しいデジタル体験が、今後は重要になってくると私は思っています」
この「体験」こそが、XR技術がAIロボット開発において不可欠な役割を果たす所以である。
XRがAIとロボットを繋ぐ
では、具体的にXRはAIロボット開発にどのように貢献するのか。入口氏は、AIの思考プロセスの可視化と、空間コンピューティングによるロボット操作の課題解決という2つの側面から解説した。
AIの判断プロセスは、しばしば「ブラックボックス」と評される。ジュリーがなぜそのように発話したり、行動したりしたのか、その意図を理解することは容易ではない。パートナーとして信頼関係を築く上で、このブラックボックス性は大きな障壁となりうる。
そこでデンソーは、XRを用いてジュリーの思考を可視化するアプリケーションを開発した。ユーザーがVR/MRデバイスを装着すると、ジュリーの発言の意図や思考の連なりが、関連性を示す線で結ばれたグラフとして空間に浮かび上がる。これにより「ジュリーがどういうことを考えながら私と喋ってくれているのか」をグラフから読み取れるようになった。これは、将来的にロボットを個々のユーザーに合わせてパーソナライズしていく上での基盤技術にもなりうるという。
専門家でなくてもロボットが使える未来へ
さらに、空間コンピューティングは、ロボットの操作そのものを、より直感的で誰にでも扱えるものへと変革する可能性を秘めている。入口氏は、現在のロボット操作における3つの課題を挙げる。
- 物理的な制約: 工場で稼働する大型ロボットは、安全のために頑丈な柵で囲まれており、操作者は「柵の向こう側から柵のアクリルを越しにロボットの手先を見ながらティーチングする」といった、もどかしい作業を強いられる。
- データの大規模化: ロボットの稼働データは膨大だが、手元のコントローラーの小さな画面と、実際のロボットの動きを同時に注視することは難しい。
- 高度な専門性: ロボットを動かすには、「得意点」の問題など、多くの専門知識が必要であり、誰もが簡単に扱えるものではない。
これらの課題に対し、空間コンピューティングは明確な解決策を提示する。バーチャル空間であれば、物理的な柵に邪魔されることなく直感的に操作できる。ロボットの関節角度や稼働範囲といった各種データも、現実のロボットに重ね合わせて表示することで、動きとデータを一目で把握可能になる。次に何をすべきかといった操作ガイドを空間に表示すれば、専門家でなくても迷わず作業を進められるのだ。
デンソーでは、実際にiPhoneでスキャンした現実の物体や空間の3Dデータをバーチャル空間に取り込み、Apple Vision Pro上でロボットのレイアウト検討を行ったり、バーチャル空間でロボットアームを直接手で掴んで動かす「バーチャルティーチング」を実践したりと、具体的な取り組みを進めている。これにより、専門的な制約から解放され、誰もがロボットを使いこなせる未来が近づいている。この取組が、今後製造業をどのように変えていくのか、注目は必須だ。
次回の「XR Kaigi Hub」は札幌！
「XR Kaigi Hub」の熱気は、次なる都市へ。2025年8月22日(金)、札幌文化芸術交流センターSCARTSにて「XR Kaigi Hub in 札幌」が開催されます。名古屋会場と同様に、キヤノン株式会社、株式会社ホロラボ、株式会社ハシラス、Diver-X株式会社といったXR業界をリードする企業による最新技術の体験ブースや、業界のキーパーソンによるセッションが予定されています。北海道のXR・AI・メタバースに関心のある皆様、この貴重な機会をお見逃しなく。参加は無料ですので、ぜひご来場ください。
●XR Kaigi Hub in 札幌
・開催日程：2025年8月22日（金）
・会場：札幌文化芸術交流センター SCARTS | 札幌市民交流プラザ
〒060-0001 札幌市中央区北1条西1丁目
https://hubinsapporo.peatix.com/view●XR Kaigi Hub in 福岡
開催日程：2025年9月2日（火）
会場：レソラホール
〒810-0001 福岡県福岡市中央区天神2丁目5-55
https://hubinfukuoka.peatix.com/view●XR Kaigi Hub in 大阪
開催日程：2025年9月11日（木） / 12日（金）
会場：eスタジアム なんば本店
https://hubinosaka.peatix.com/view
