本記事では、2026年8月6日に開催された「XR Kaigi Hub名古屋」でのセッション「フィジカルAIは、想像の10倍は泥臭かった —— ホロラボのXRとロボットの現場から」の模様をレポートする。ロボットアームに単一の作業を教える「模倣学習」の実践を通して直面した泥臭い現実と、そのデータ収集の課題をXR技術でいかに解決していくかという挑戦が現場の視点から語られた。
登壇者紹介：中村 薫 氏（株式会社ホロラボ 代表取締役CEO）
2000年代前半よりソフトウェア開発者として従事。
2012年にMicrosoft Kinectと出会い、個人事業主として独立。
2017年にMicrosoft HoloLensの日本上陸をきっかけに、MRアプリ開発に注力すべく株式会社ホロラボを起業。
著書に「Apple Vision Proアプリ開発入門」「HoloLens 2 入門」などがある。
登壇者紹介：団野 真一郎 氏（株式会社ホロラボ ソフトウェアエンジニア）
2008年よりソフトウェア開発者として従事。
2017年にMicrosoft HoloLensの日本上陸をきっかけに、MRアプリの個人/業務開発を進める。
2022年に株式会社ホロラボへ転職し、XRアプリ開発に専念していた所ロボ担当となる。
ロボットとXRの親和性の高さ
セッションの冒頭、中村氏はホロラボが何故ロボット領域に取り組むのかについて語った。「御多分に漏れず僕らはフィジカルAIの領域に足を突っ込み始めています」と切り出した中村氏だが、ホロラボのミッションである「フィジカルとデジタルをつなぐ」という点において、ロボット技術とXR技術の親和性は極めて高いという。
例えば、模倣学習を行う際にアームロボットに動きを教え込むためには人の動きをデータ化する必要があり、ロボットの環境をデータ化するためには3Dスキャンなどの技術が用いられる。これらはホロラボがこれまで培ってきた技術の延長線上にある。
実際の事例として、第一三共株式会社でのテレオペレーションのデモアプリが紹介された。これはApple Vision Proを用いて協働ロボットを操作するというもので、XRとの親和性が非常に高い。また、4足歩行ロボットの上にスキャナーを搭載し、自動で徘徊させて環境の3Dスキャンを行う自動計測の取り組みなども紹介され、ホロラボがすでに多様な接点を持っていることが示された。
団野氏は、株式会社キャタラーとの取り組みを紹介した。同社は車両の排気ガスの浄化触媒を開発製造する企業であり、今回は研究チームとともに「ロボットアームの模倣学習」に挑戦している。
目的は、人の動きをロボットに模倣させ、ハンカチを四つ折りにさせることである。団野氏はここで「強化学習」と「模倣学習」の違いを説明した。
強化学習は試行錯誤の中で報酬を最大化する行動を自ら探索するのに対し、模倣学習は「最初の人の正解の動きを与えてあげることでロボットがその正解の動きに沿って動く」というアプローチをとる。報酬設計が不要な分、人間によるデモ収集の質が直接ロボットの動きの精度に直結するという特徴がある。
プロジェクトは、人が直接握って操作する「リーダーアーム」と、その動きに追従する「フォロワーアーム」の2セット（左右計4本のアーム）を用いて行われた。人がリーダーアームを動かし、ハンカチを折る動作を何度もロボットに教え込む「デモ収集」が始まったが、ここからが「想像の10倍泥臭い」現実であった。
まず、ロボットのアームやグリッパーは人間の手よりも圧倒的に不自由である。指は2本しかなく、関節の曲がる方向も制限されている。想定外の動きをさせようとすると関節が暴れるなど、自在に操るには熟練が必要だった。さらに、リーダーアームを動かす際にはモーターの負荷が手にかかるため、数十回も繰り返すうちに筋肉に疲労が溜まっていく。
論文上では、50回程度の手本で80%の成功率が出るとされていたが、実際に試すと50回では全く足りなかったという。数秒から数分かかる作業を、失敗が許されないというプレッシャーの中で何時間も繰り返すことは「心と体にダイレクトにくる作業」であったそうだ。さらに、折りたたむハンカチの位置がずれたり環境が変わると対応できなくなるため、汎用化させるためには膨大なパターンのデータが必要となる。
「本当にこんなデータが必要なのか、自分たちのやり方が間違ってるのでは？ と不安だった」と団野氏は振り返る。ROSCon JP 2026というイベントで専門家に尋ねたところ、それが当たり前の苦労になっているそうだ。
XRデバイスとフィジカルAIの交接点
この泥臭いコストをいかに減らすかについて、先行研究のリサーチが行われた。一つは、模倣学習（IL）と強化学習（RL）を連携させるアプローチである。完璧なデモデータへの依存を減らし、強化学習で事後的にサポートを行うというものだ。
二つ目は、画像処理によるデータ拡張である。取得した少数のデモデータを水増しし、環境変化に強いデータセットを合成する手法が挙げられた。調べていく中で、「13万件のデモ収集に17ヶ月、13台のロボットを並列して使った」という世界的企業の事例も見つかり、業界全体が壁に直面していることが浮き彫りとなった。
そこで三つ目の解決策として登場したのが、XRデバイスを用いた身体性データの取得である。実機のリーダーアームの操作が困難であるならば、ARグラスなどを活用し、人間の直感的な動きを一人称視点で取得して学習データにするというアプローチだ。ここでようやく、ホロラボの真骨頂であるXR技術が繋がってくる。
団野氏は実際に「Meta Quest 3」のハンドトラッキング機能を利用し、手の位置情報を直接取得して、秋月電子通商で約5万円で購入できるオープンソースのロボットアーム「SO-101」を操作するシステムを実験的に構築した。
「万能のように見えたフィジカルAIですが、実際にやってみたらそういう泥臭く地道な面がある」と総括しつつ、団野氏はXRとロボットの関係性について次のように語った。
「ロボットもある意味我々が元々やっているXRですね。XRは現実を見ながらデジタルとインタラクションする。ロボットは逆にデジタル空間の情報を現実空間に対してフィードバックをかける。向きは逆ですが同じようにフィジカルとデジタルをガチャンコする、素敵な夢のある技術じゃないかなっていうところで。よりXRとロボット面白い未来を作るために頑張っていきたいと思います」
想像以上の泥臭さを経て、それでもなお未知の領域に挑み続けるホロラボの姿勢が、色濃く表れたセッションであった。
AI・スマートグラスの最新事例が集合！ 国内最大級カンファレンス「XR Kaigi 2026」、11月30日〜12月2日に開催
XR Kaigi実行委員会は、バーチャル領域のカンファレンス「XR Kaigi 2026」を2026年11月30日（月）から12月2日（水）の3日間、東京・ポートシティ竹芝内（ポートホール・東京都立産業貿易センター浜松町館）で開催します。
※XR Kaigi、MoguraVRはMyDearest株式会社が運営しています。
XR Kaigiは、XR・スマートグラス・VTuberなど、バーチャル領域の担い手を対象としたカンファレンスです。企業・個人・業界団体・行政などが参画する業界横断型のイベントで、海外からの登壇者や出展社も迎えます。開発者やクリエイターを中心とした参加者が集まる場を目指しており、2014年から業界専門メディアとして活動するMogura VRが企画しています。想定総動員数は4,000名、想定出展ブース数は100ブースです。
XR Kaigi 2026 概要
| 名称 | XR Kaigi 2026 |
| 会期 | 2026年11月30日（月）〜12月2日（水） |
| 会場 | ポートシティ竹芝内（ポートホール・東京都立産業貿易センター浜松町館） |
| 想定総動員数 | 4,000名 |
| 想定出展ブース数 | 100ブース |
| 公式サイト | https://mydearestvr.com/xrkaigi/2026/ |
| 主催 | XR Kaigi実行委員会 |
