2020年12月16日、マイクロソフト主催の「Mixed Reality Dev Days Japan」がオンライン開催されました。本イベントはMR（Mixed Reality/複合現実）開発者向けの公式カンファレンスであり、HoloLensの開発プラクティスや最新情報の紹介などが行われています。本記事はこのカンファレンスの内容から、開発者向け情報をダイジェストでお送りします。
（ビジネスにおける活用事例等については、こちらの記事をお読みください）
開発者が手軽にHoloLens 2アプリを作れる「MRTK」
基調講演では、マイクロソフトのプログラム・マネージャーを務めるジェシー・マカロック氏が登壇。2020年10月に更新された開発用アセット「Mixed Reality Toolkit(MRTK)」のバージョン2.5.0についての紹介が行われました。
（MRTK v2.5.0ではパッケージ管理機能の追加やコンパイル時間の短縮、Oculus QuestのXRSDKサポートなど、多数のアップデートが行われている）
MRTKは、マイクロソフトによるMR対応のクロスプラットフォーム開発ツールキット。ゲームエンジンのUnityやUnreal Engine 4（UE4）向けにオープンソースで提供されており、MR向けの様々なUIやインタラクションを備えています。MRTKを利用することで、開発者は手軽にHoloLens 2向けアプリの開発を行えます。
（千代田まどか氏による講演では、UnityとMRTKを使った初期設定を行うところを紹介）
MRTKについては午後の講演「MRTK UXコンポーネント v2.5.0」および「Unreal Engine 4でHoloLens 2アプリ開発(MRTK-Unreal)」でも詳細な解説が行われました。「HoloLens 2等を使った開発をスタートしてみたい」「HoloLens 2開発におけるUIについて学びたい」という方は、ぜひ一度視聴してみることをオススメします。
（「MRTK UXコンポーネント v2.5.0」の講演動画）
（「Unreal Engine 4でHoloLens 2アプリ開発 (MRTK-Unreal)」の講演動画）
ベストプラクティスが学べる「Designing Holograms」
続く「Mixed Reality アプリデザイン（UI/UX設計ベストプラクティス）」ではマイクロソフトMRアカデミーのデザインリード、ダニエル・エスクデロ氏が登壇、HoloLens 2向け開発のリファレンスアプリ「Designing Holograms」について紹介しました。
（「Designing Holograms」を起動した際の画面。「ドールハウス」と呼ばれるミニチュアサイズの仮想空間を表示し、様々なデモが体験できる）
「Designing Holograms」はマイクロソフトのMR設計チームが開発した、MRにおけるUIやUXの基礎を理解するうえで役立つアプリです（Microsoft Storeから無料でダウンロード可能）。エスクデロ氏は「MRの開発で最も難しいのは、2次元とは異なる設計の部分です。この数年で様々な人々とイベントやワークショップを行ってきましたが、いつも問題となるのはユーザー体験(UX)の設計でした」と話します。
マイクロソフトがこうした問題に対応するため、作成したのがこの「Designing Holograms」。エスクデロ氏は「作り方はマニュアルを読めば理解できますが、ユーザー体験は理解できません」「本アプリでは、バーチャルの教師が1:1で、MRの設計概念について実演しながら説明してくれます」と説明しつつ、本アプリの実演を行っています。
（「Mixed Reality アプリデザイン（UI/UX設計ベストプラクティス）」の講演動画）
本講演では「Designing Holograms」の開発に使用されたテクニックやUIの制作プロセスなど、様々な興味深い事例も語られています。「MR開発のベストプラクティスを学ぶアプリ」のメイキングである本講演は、開発者にとって大きな参考となりそうです。
クラウドを活用したMR開発者向けサービスも多数
クラウドサービス「Microsoft Azure」を活用したMR開発者向けサービスの紹介も複数行われました。講演では2020年9月に発表された機能「Azure Object Anchors」を中心として、3種類のツールが詳細に説明されています。
自動で3Dモデルの位置合わせができる「Azure Object Anchors」
「Azure Object Anchors」は、3Dモデルを現実の物理的なオブジェクトに合わせて表示させることができるツールです。これまではQRコードなどを使い、ユーザー自ら表示位置を指定する必要がありましたが、Azure Object Anchorsではあらかじめ指定しておいた物理オブジェクトに自動で重ねて表示できます。
（トヨタでの「Azure Object Anchors」使用事例。現実の車両に、3Dモデルの車両を重ねてガイドを表示している。なお「Azure Object Anchors」は現在プライベートプレビュー期間中のため、すべての開発者が無条件で使えるわけではないことに注意）
このAzure Object Anchorsは機械学習モデルをトレーニングする「トレーニングエクスペリエンス」とモデルを実際に適用する「ラインタイムエクスペリエンス」の2つの仕組みで機能しており、講演ではそれぞれの具体的な仕組みについても解説。さらにQ&A;ではAzure Object Anchorsのプライベートプレビューに申し込む方法なども紹介されており、実際に使ってみたい・試してみたいエンジニアの方は必見です。
（ジェシー・マカロック氏が登壇した「Azure Object Anchors」の講演動画）
ワークステーションいらずの「Azure Remote Rendering」
続く講演ではマイクロソフトのテクニカルアーキテクト・鈴木あつし氏が登壇。「Azure Remote Rendering」について解説しました。Azure Remote Renderingは、クラウド上で3Dモデルをレンダリングし、HoloLens 2やWindowsのPC向けにリアルタイムでストリーム配信できるようにするサービス。高性能なGPUを搭載したPCを手元で使用せず、手軽にハイエンドな3Dモデルをレンダリングできます。
（HoloLens 2で高品質な3Dモデルを表示している様子。このモデルは約1800万ポリゴンもあり、通常HoloLens 2単体では表示することが難しいのだが、「Azure Remote Rendering」を使うことで表示を実現している）
講演の前半部ではAzure Remote Renderingでできることに加え、実際に使用した活用事例などを紹介。中盤以降はサンプルアプリの構築を行い、Azure Remote Renderingの使い方を丁寧に解説しています。非常に大きなデータをHoloLens 2等で使う必要のある方は要チェックの講演です。
（「Azure Remote Rendering」の講演動画）
強固な位置固定機能「Azure Spatial Anchors」
Azure関連サービス講演のトリは、マイクロソフトのYingguang Mei氏による「Azure Spatial Anchorsによるホログラムと現実世界の連携」。広く使われているMR開発者向けサービス「Azure Spatial Anchors」の解説が行われました。
（「Azure Spatial Anchors」は3Dモデルの表示位置を永続的に固定し、かつクロスプラットフォームでの3Dモデルのシェアを可能とする）
講演ではAzure Spatial Anchorsの解説に加え、Unityを使ったチュートリアル、そして「何もない開けた場所ではなく、安定した視覚的特徴を持つ場所にアンカーを作成する」「体験するシチュエーションによってアンカー設置のためのスキャン方法を選ぶ」など、使う上でのベストプラクティスの紹介も。「Azure Spatial Anchors」を使いたい人や、HoloLens 2を用いたアプリ開発で一歩リードしたい人にオススメの講演です。
（「Azure Spatial Anchorsによるホログラムと現実世界の連携」の講演動画）
「HoloLens 2 Development Edition」には複数の便利なソフトが付随
ユニティ・テクノロジーズ・ジャパンの高橋忍氏が登壇した講演では、HoloLens 2のDevelopment Edition、およびそれに付随するソフトウェア「PiXYZ」についての解説が行われました。
（HoloLens 2のDevelopmend Editionには、Unityのプロフェッショナル向けライセンスである「Unity Pro」そして3Dモデルのデータ量を削減する「PiXYZ」のライセンスが3ヶ月分、そしてAzure系サービスを利用するためのクレジットが500ドル分付随する。かなりお得だ）
今回高橋氏が紹介した「PiXYZ Plugin for Unity」は、UnityにCADデータをインポートするためのソフトウェア。20種類以上のフォーマットをサポートしている他、3Dモデルの軽量化に加え、足りない情報の補完を行います。Unityのプロジェクトにプラグインとして追加するだけで使用可能となっており、利便性と手軽さを兼ね備えています。
（「PiXYZ Plugin for Unity」にCADデータをインポートし、軽量化を行っている様子。CADデータのパーツ別の分割や、3Dモデルの裏側＝見えない側にあるポリゴンの削減などが行える。このデータは当初12万ポリゴン近かったが、データを削減することでおよそ8万ポリゴンにまで軽量化している）
本講演は「HoloLens 2 Development Editionの購入を検討中」という方や、「HoloLens 2単体で、3Dデータをより軽く・スムーズに・便利に使いたい」方にオススメの内容です。
（「HoloLens 2 Development Edition Unity & PiXYZ」の講演動画）
ディープな「Azure Kinect DK」活用セッションも
本イベントの最後を飾るのは「Azure Kinect DK Deep Dive, Case Study」。マイクロソフトの千葉慎二氏が登壇し、センサーデバイス「Azure Kinect DK」のハードウェア概要やソフトウェアの処理フロー、そして既にAzure Kinect DKが採用されている事例の解説を行いました。
（「Azure Kinect DK」。深度＝デプスや音声取得なども可能であり、いわゆるボディトラッキングやクラウド連携機能を備えている。現実の「立体空間」全体を捉えられるセンサーデバイスだ）
さらに本講演では、実際に遠隔診療システムなどで用いられたシステム構成なども紹介。Azure Kinect DKで患者を3方向から撮影、100km以上離れた大病院にデータを転送し、HoloLens 2をつけた専門医が評価するシステムの具体的なワークフローが明らかにされるなど、Azure Kinect DKを用いるうえで役立つ情報が多数述べられました。
（実際に遠隔診療・撮影アプリで用いられたシステム構成。具体的なワークフローの組み方やAPIの振る舞いなども解説されている）
千葉氏は最後に、「Azure Kinect DKの使い方は本当に様々で、業務のみならず趣味や娯楽含め、アイディア次第で使い方が大きく広がります」「MRを活用して、役に立つものや面白いものを一緒に作っていきましょう」と述べ、本イベントを締めくくりました。
（「Azure Kinect DK Deep Dive, Case Study」の講演動画）
セッション動画は全編YouTubeで視聴可能
本記事で紹介した講演を含む、Mixed Reality Dev Days Japanの全講演がYouTubeにて公開されています。MR開発者はもちろんのこと、HoloLens 2やAzure Mixed Realityサービスについて知りたい人は視聴することをおすすめします。
なかでも、HoloLens 2アプリにおけるUI・UXの知見が得られる「MRTK UXコンポーネントv2.5.0」および「Mixed Realityアプリデザイン(UI/UX設計ベストプラクティス)」は必見。MRにおけるUX設計のノウハウ・アイディアが詰まっています。
【Sponsored】日本マイクロソフト
