Appleの研究者であるLars Mescheder氏らは、新たな3D合成技術「SHARP」を発表しました。この技術は、単一の写真からフォトリアルな3D表現を生成するというもの。本手法は、入力された1枚の画像から3Dガウシアン表現のパラメータを推定。処理は標準的なGPU上で実行され、1秒未満という極めて短い時間で完了します。
ニューラルネットワークによる単一のフィードフォワード処理を採用することで、従来の最高水準のモデルと比較して、合成の所要時間を1000分の1に短縮することに成功しています。生成された3Dデータは、標準的なGPUで毎秒100フレーム以上の描画が可能。高解像度かつフォトリアルな近傍ビューを、リアルタイムにレンダリングします。
SHARPが生成する3D表現は、絶対的なスケールを持つメートル法に基づいています。これにより、実際のカメラ移動量に応じた正確な視点制御を実現しました。実験にはUnsplashやETH3D、Middleburyなどの多様なデータセットを用いた実験により、高い汎用性と堅牢性が証明されています。
画質評価指標のLPIPSでは、既存の最良モデルより25から34パーセント改善しました。同様にDISTS指標でも、21から43パーセントのエラー削減を達成しています。
本手法は、微細な構造や鋭いディテールを保持したまま3D化を行います。合成された画像は、入力した写真の質感を極めて高い精度で再現することが可能とのことです。
研究はAppleの機械学習研究チームが本研究を主導しており、詳細はブログに記載されています。本論文は現在arXivで閲覧可能で、プロジェクトのソースコードは、GitHubリポジトリを通じて一般に公開されています。Appleは、「SHARP」が単一画像からの高品質な3D生成における新たなスタンダードになるとしています。
参考
Apple machinelearning
Apple Github
もぐら関連記事
