東京科学大学（旧東京医科歯科大学及び、旧東京工業大学）の研究チームが、AR技術を活用した手術支援システム「Orbeyace」を開発しました。手術医はVR/MRヘッドセットMeta Quest3を装着し、3Dモデルと実際の手術を比較しながら手術を行います。本システムの導入により、外科医の空間認識のサポート強化や手術の精度や効率向上が期待されています。
「Orbeyace」の特徴は、患部の3Dモデルとリアルタイムの手術映像を重ねて表示できる点です。本システムでは、術前に撮影したCTデータから神経、血管、耳小骨などをセグメンテーションし、3D解析およびモデリングソフトウェアを用いて3Dモデル化しています。
手術中には、手術用外視鏡「ORBEYE（オーブアイ）」の4K3D映像をGPU搭載PCに取り込み、Unity経由で高速かつ遅延なしに表示します。外科医はMetaのVR/MRヘッドセット「Meta Quest 3」を使用して、これらの映像を視認しながら手術を行えます。
本システムによって、手術医は複雑な解剖学的構造をより直感的に理解し、裸眼に近い状態で手術をできるとのこと。映像の遅延も約0.13秒と非常に短くなっています。またヘッドセットを装着していない3D4Kモニターに映像をミラーリングすることで、手術アシスタント医や看護師にも同じ映像を共有できます。
人工内耳手術では「Orbeyace」の導入により、外科医の経験年数に関係なく認知負担が大幅に軽減され、「3Dイメージング表示はすべてのカテゴリで2Dディスプレイよりも作業負荷を軽減させるという結果」が明らかになったとのことです。
他にも本システム活用の利点として、手術手技の早期習得が期待されています。耳鼻咽喉科手術にとどまらず、将来的には脳外科や心臓外科など、より複雑でリスクの高い手術分野への応用も検討されています。
本システムは東京科学大学・医学部医学科耳鼻咽喉科分野の伊藤卓講師および堤剛教授らの研究チームと、ソニー株式会社・ソニーグループ株式会社との連携により開発されました。
研究チームは今後、3DCGを術野に直接重ねて表示する技術の開発を進め、3Dスキャニング技術やARマーカーを活用したより直感的かつ、精密な手術ガイダンスシステムの構築を目指しています。また医療現場におけるAR技術の標準化に向けて、システムインターフェースの改良やトレーニングプログラムの充実を図り、より安全で効率的な治療環境の実現に貢献していく、としています。
（参考）東京科学大学
