アップルは毎年6月、開発者会議「WWDC」を開き、その年のOSアップデートについて発表・解説するのが通例となっている。今年もその通例は守られた。ハードウェアの新製品はないので派手ではないが、ある意味、この10年でもっとも重要なイベントだったかもしれない。
理由は、AI機能であるApple Intelligenceが再始動したためだ。このAIは今後、アップル製品におけるあらゆる機能の基盤となるからだ。
そしてそのことは、Apple Vision Pro向けのOSである「visionOS」も例外ではない。
さらに、他のデバイスに搭載されるいくつかの機能は、もともとvisionOSの影響下にあるものでもある。
では実際にどう変わるのか？ 現地での取材と実機上でのベータ版OSの動作状況を合わせた内容から解説していこう。
visionOS 27 Beta 1
なお、本記事内で紹介されているスクリーンショットは開発途上版によるもので、最終的に公開されるバージョンと異なる部分がある。開発などの目的でない場合、開発途上であるベータ版のインストールは推奨されない。
■AIを強化、視線の先を認識
まず、AIの話をしておきたい。
2024年にアップルはAI機能「Apple Intelligence」を発表し、iPhoneをはじめとした同社製品に搭載していくことになった。だが、その計画はうまくいかなかった。AIモデルの能力が足りず、想定した機能を達成することができなかったからだ。
結果的にアップルはAI開発計画を見直し、Googleの協力を得て「Geminiのフロンティアモデルから蒸留して規模の小さな独自AIを作る」「サーバーについてはGoogleとNVIDIAが共同開発したものを使う」ことになった。これが、今回発表された「第3世代Apple Intelligence」だ。
本論ではないので細かな機能については省くが、2024年にアップルが目指した機能はちゃんと実現され、動作速度も速く、かなり良いAIになったのではないかと感じる。
そしてvisionOSにも、第3世代Apple Intelligenceと、それを使うAIアシスタントである「Siri AI」が搭載された。ただ、他のデバイス向けとはかなり違う点が多い。
第一に、ビジュアルがかなり凝っている。
以下はvisionOS 27 Beta 1でキャプチャした画像である。中央の丸い球体がSiri AIだ。これに話しかけると処理が進む。
丸い球体がSiri AI
球体は自発光する物体として空間内に配置されており、実際の風景と重なる位置にあると、ちゃんと光が実景に落ちる。
ビデオシースルーの実景と重ねた時も光源の影響が実景に重なる
「球体に話しかけると処理が進む」とは文字通りの意味だ。音声を認識しているのは当然のこととして、音声を認識していないときは球体を見つめると、音声認識状態に切り替わる。すなわち「視線認識を生かしたUI」なのだ。
アップルのデモ動画より。中央の球体を見つめると音声認識
Apple Intelligenceには画像の中になにが描かれているかを認識する「Visual Intelligence」という機能がある。実はこれも視線認識と連動する。
要はVision Pro内部に映っているもののうち、視線の先にあるものはすべて、命令とともに認識するようになっているのだ。
WWDCのデモではリュックの販売サイトを見ながら「これに荷物は全部入るのか」といったことを質問していた。
アップルのデモより。ウェブを見ながらその内容を認識し、AIとの対話に活かす
これだけでなく、カメラでキャプチャしている外界（すなわち目の前の風景）であっても、視線の先にあるものを認識して命令に対応するようになっている。
結果として、特別な認識用のアプリを用意することなく、外界とAIの連携が実現できることになる。
■自作の「環境」も設定可能に
もう一つ、わかりやすい変化は「環境（Environment）」の強化だ。
環境とは、Vision Proを使うとき、ビデオシースルーによる実景の代わりに使う風景のことだ。これまでは砂漠から月、木星の風景に至るまで、かなり凝ったものが追加されてきた。今回も1種類追加されるが、それだけではない。
今回追加された「Thórsmörk（トールスモーク）」
自分で撮影したパノラマ写真を3D化し、それを「環境」として配置できるのだ。以下の画像は、筆者が撮影したパリの風景とアップル本社脇にあるVisitor Centerの屋上からアップル本社方面をパノラマ撮影した風景を「環境」化したものである。
パリで撮影したパノラマ風景を「環境」に設定
同じくアップル本社脇のVisitor Centerからの風景を「環境」に設定
visionOSには2D写真を3D化（空間フォト化）する機能がある。これは厳密には、iOSなどの「写真」アプリが搭載している「空間フォト化」とは違う機能だ。この機能を応用し、まずはパノラマ写真を立体感のある空間フォトにし、それを配置することで、体を動かすと風景がなんとなく3D空間に見えるようになっているわけだ。
アップル純正の「環境」は360度全体を覆うものだが、自分の写真を使うものは基本的に180度。純正のものには環境音があるが、当然、自分の写真を使う場合には音はない。
■UIの改善も多数
基本的なUIの刷新もある。
まず、コントロールセンターの表示が変わった。基本的には「再配置」だと思って構わない。
コントロールセンター。配置がかなり変わった
次に、パフォーマンスの改善。visionOS自体はそこまで遅いOSではないのだが、全体的に動作が軽くなった。これはベータ版の段階から体感できる。
パフォーマンスという面で大きいのは、Wi-Fiの接続速度が最大3倍高速になったことだ。特にVision Proは、他のアップル製品に比べてもWi-Fiの認識が遅いという印象があったが、これが劇的に改善される。
通知の変化も大きい。通知自体は同じなのだが、視線認識が導入され、見つめるだけで通知を開くことができるようになっている。そのまま開いて返信などもできる。手を動かす必要がなくなったので、これはかなり快適だ。
また、ウェブブラウザーであるSafariでは、最大5つのウェブを同時に並べて表示できるようになった。そのときには全体を湾曲させて表示する。ウェブを1つ表示する際も、サイズを一定以上に大きくすると、自動的に湾曲表示になる。曲率などの変更はできない。
Safariは複数画面を並べて湾曲表示可能に
同様にTVアプリも湾曲表示に対応したそうなのだが、こちらはスポーツなどでマルチアングル表示にしたときに適用されるという。
スクリーンショットやスクリーン録画が「高画質」対応したのも大きい。
スクリーンショットなどが「高画質記録」に対応
従来、Vision Pro単体だとFoveated Renderingが適用され、中心以外は解像度が落ちたものが記録されていた。これを避けるには、Macに開発環境を入れて接続し、開発環境側からキャプチャする必要があった。
しかしvisionOS 27には「高画質」モードが用意され、Macとの接続なしにフル解像度の画面をキャプチャできる。動画は最大3分までに制限されているが、実用上問題はないだろう。本記事内で使っているvisionOS 27 Beta 1の実機画像・動画も、すべて高画質モードで収録したものだ。
高画質モードで撮影したスクリーン動画。今までと違い中央以外ぼやける、という形ではなくなった。ただし最長3分
■B2B向けの改善も目立つ
今回はB2Bを含む実務向けの機能も追加されている。
「Foveated Streaming Framework」がアップデートし、PCからのストリーミング画質が上がる。これは特に、フィジカルAIやロボット、工場のシミュレーション、自動車のデザインなどで使われるNVIDIAのソリューションとの連動を想定したものだ。実際、そうした領域でVision Proのニーズは多く、実情に即したアップデートと言える。
「空間プレビュー」機能は、Macで対応アプリがある場合、その画面内のコンテンツをVision Pro側に引き出して、3Dで体験することができるようになった。この辺は、会議をしながらオブジェクトを皆でチェックするような用途に向いているだろう。
また、特別なアプリケーション利用を前提とした「空間アクセサリー」開発用の情報も公開されている。これはVision Proの操作をする周辺機器を作るというよりは、業務で必要になる専用のデバイスを開発するような用途に向いている。
空間アプリ・コンテンツ開発用の「Reality Composer Pro」も「Reality Composer Pro 3」になり、機能がかなり向上している。
単体のアプリになり、ゲームエンジン的な要素を持つようになった。3Dの素材を作るものというイメージから、「簡易な空間アプリを作るツール」になった、という印象だ。「Reality Composer Pro 3」は以下のリンクからダウンロードできる。
https://developer.apple.com/jp/reality-composer-pro/
■他のOSにも見える「空間コンピューティング技術」のかけら
visionOS 27を確認すると、visionOSへの投資を止めるというイメージは全く感じられない。アップル側関係者も「空間コンピューティングは初期段階」と口を揃えたように答えた。もちろん「そう答えるルール」ではあるのだろうけれど、彼らは本心からそう考えている、という印象を受けた。
視線認識やAI、空間フォトなどの要素は、アップル全体での価値になっていくのだろう。
iOS 27では、撮影した写真のアングルを変える「リフレーム」という機能を搭載した。これは写真を3Dの空間写真にして、さらにそこからアングルを変え、その結果からAI生成を行うことで「違うアングルの写真にする」ものだ。これも、2Dから3Dへの変換技術があってのものであり、visionOS向けの技術開発があってのものだ。
iOS 27の「リフレーム」で加工した例。元の画像から画角を変えた写真を生成する
地図アプリである「Appleマップ」の3D表示である「Flyover」で、主要都市にガウシアン・スプラッティングでの表示が導入された。結果としてリアリティが増したわけだが、これも、visionOSを含めたガウシアン・スプラッティングの扱いが向上したことによるものだ。
都内の地図もガウシアン・スプラッティングによって3D表示が精細に
こうした、アップル全体での空間関連技術活用にも注目しておきたいところだ。
