大日本印刷株式会社（DNP）は、周囲の環境音を擬音語・擬声語としてARグラス等のスマートグラスにテキスト表示する機能を開発しました。この新機能は、テキストの内容に応じて自動的にフォントを切り替える「DNP感情表現フォントシステム」と組み合わせることで、聴覚障がい者の方々への情報保障とコミュニケーション支援を目指します。
今回発表された機能は「DNP感情表現フォントシステム」と音声認識システム「YYSystem」を組み合わせて開発されました。
「DNP感情表現フォントシステム」はテキストデータに含まれる感情やイメージを解析し、それに適したフォントや色を自動的に選択して表示するシステムです。このシステムと、DNPの開発パートナーである株式会社アイシンが開発した音声認識システム「YYSystem」を連携。周囲の音を認識してテキストデータ化した後、その言葉が持つニュアンスに合わせたフォントでスマートグラスに表示します。
事前に機械学習によって、周囲の環境音に関する認識パターンが登録されており、実際に音が発生した際にリアルタイム認識されるとのこと。現時点で救急車のサイレン、横断歩道の案内音等の10種類の擬音語・擬声語に対応しており、今後さらに対応音を増やしていく予定です。
本取り組みは、東京都の「西新宿先端サービス実装・産官学コンソーシアム」における「先端技術を活用したユニバーサルコミュニケーション分科会」のプロジェクトとして実施されています。DNPは開発パートナーのアイシン、日本Xreal株式会社と協力しながら技術開発を進めており、今後も美術館・博物館などの文化施設や、観光地、展示会など、様々な場面での活用を目指しています。
また、DNPは2025年1月24日から26日にかけて、新宿NSビルと新宿中央公園において「音が見える！字幕表示メガネでオノマトペ体験会」を開催する予定です。体験会ではスマートグラス「XREAL Air 2 Ultra」を使用し、実際の環境における機能の有用性や課題を検証します。
