2017年、Googleは「Googleレンズ」をリリースしました。スマートフォンのカメラを利用して文字や物体を識別、関連情報を表示したり、翻訳を行ったりする機能です。
本記事では、そもそもGoogleレンズでは何ができるのか、iPhone/Androidではどう使うのかを紹介します。（※2020年5月時点での情報です）
目次
1.Googleレンズとは？
2.Googleレンズで何ができるの？
3.iPhone/Androidで使うには
4.Googleレンズの使い方
5.どんな仕組み？
Googleレンズとは？
「Googleレンズ」は、スマートフォンのカメラに映ったものを認識し、その対象物に関連した情報を表示してくれる機能です。オブジェクトの認識にはAIが使用され、ユーザーが知りたいことや関連する情報が簡単に分かります。
たとえばスマートフォンのカメラを通して、目の前にある花を撮影すれば、その花の名前、種類などが確認でき、英語やイタリアごの看板を撮影すれば、その言葉の意味を母国語で表示できます。認識の精度も高く、辞書や図鑑、翻訳機といったツールをいちいち動かさずとも、気になったものを手軽に調べられるのが特徴です。
配信当初の2017年は2,500万種類のオブジェクトが識別できましたが、2018年12月には4倍の1億種類オブジェクトの認識が可能となっています。
Googleレンズで何ができるの？
機能の特性を箇条にしてまとめると以下のとおりです。
・文字をスキャン
・類似商品の検索
・単語や場所から関連画像/情報を検索
・動物/植物を検索
・外国語を自動で翻訳
・QRコード/バーコードを読み取る
文字をスキャン
（乗車券の日本語が英語に翻訳）
Googleレンズは文字や数字を読み取り、翻訳をはじめコピーや検索、カレンダーのスケジュール追加、通話発信が可能です。
2020年5月に実施されたアップデートでは、アプリでスキャンした文章を“発音”する機能が実装。読み方が分からない（発音が不明）単語まで調べられます。そのほか、ユーザーが意味を理解できない単語をインライン表示する機能も実装されました。
執筆時点では、Googleレンズは英語、スペイン語、フランス語、ドイツ語、イタリア語、ポルトガル語、韓国語、中国語、デンマーク語、オランダ語、ヒンディー語、インドネシア語、日本語、韓国語、ポーランド語、ロシア語、スウェーデン語、タイ語、トルコ語、ベトナム語で利用可能です。
類似商品の検索
カメラで商品を写せば検索ボックスで利用せずに類似商品を探せます。ファッションや家具、雑貨などを探す際に便利です。
単語や場所から関連画像/情報を検索
今自分がいる場所や地名などの単語から画像や情報を検索できます。「Googleマップ」と統合が行われており、レストランのメニュー（文字）を認識した際には、その店の特徴的なメニューをハイライトで閲覧できたり、口コミを読んだりできます。また建物の写真から営業時間や周辺情報の確認もできます。
動物/植物を検索
目の前の動植物がどういったものなのか知りたい時は、Googleレンズで映すだけで調べられます。被写体の名前や詳細情報を自動で検索してくれます。
QRコード/バーコードを読み取る
（Oculus Questのバーコードをスキャン）
Googleレンズは商品に付いているバーコードやQRコードの読み取りも可能。その場で商品を購入したり、Webページに飛んだりできます。
iPhone/Androidで使うには
Googleレンズは、2017年の実装直後一部のAndroid端末でのみ利用可能でしたが、2018年3月のアップデートにより、iOS（iPhone）でも使用可能になりました。iOSとAndroidで起動方法が異なるので、予め確認しておきましょう。各OSの対応アプリは以下の通りです。
|
カメラ（標準） |
Googleレンズ |
Googleアシスタント |
Google検索 |
Googleフォト |
|
|
iOS |
✕ |
✕ |
✕ |
◯（Googleアプリ） |
◯ |
|
Android |
※Pixelなど一部Android端末のみ |
◯ |
◯ |
◯（ブラウザの画像検索） |
◯ |
Googleレンズの使い方
iPhoneとAndroid別のGoogleレンズの使い方を紹介します。
iPhoneの場合
（左：Google検索、右：Googleフォト）
iOSでGoogleレンズを使用する場合は、「Google検索」または「Googleフォト」をインストールし、アプリから起動します。Google検索はアプリ起動後、検索ボックス内にあるアイコンをタップが起動します。Googleフォトは、写真を開き下のアイコンをタップで画像検索ができます。
さっそく、iPhoneでGoogleレンズを使用してみました。
（Oculus Questの箱を使用。英文で書かれているが、これをGoogleレンズで映すと……）
（自動で日本語に翻訳。長文の英語でも内容が理解できる）
Androidの場合
（左：Googleアシスタント、右：Googleレンズアプリの使用画面）
まずストアから「Googleレンズ」アプリをインストールし、アプリを直接起動することで使用できます。起動方法は他にも「Googleアシスタント」左下のアイコンや声で呼び出し、iOS同様「Googleフォト」の下のアイコンからも可能です。
さらにPixelなど一部Android端末にはGoogleアシスタントが標準搭載されており、カメラのメニューから起動できます。
「Googleレンズ」アプリには検索・翻訳・文字・ショッピング・食事などの項目があり、一度映したものの項目をスムーズに切り替えられます。また右上のフォトアイコンから一度撮った写真からの検索も可能です。
どんな仕組み？
Googleレンズ開発の中心人物であるAparna Chennapragada氏は、「オブジェクト識別機能の“キモ”は、機械学習とコンピュータビジョン、そしてGoogleが開発した機械学習用のフレームワーク『TensorFlow』である」と説明しています。同氏によると、文字の読み取りには、optical character recognition (OCR) というエンジンを使用。OCRは、Googleのナレッジグラフ（※）などと組み合わされ「Google Lens」に文字を“読む”能力を付与します。
（※ナレッジグラフ：Googleが検索結果を最適化し、拡張するための知識ベース）
執筆：みたらし、ノンジャンル人生
