NeO 360：面向室外场景稀疏视角合成的神经场方法
计算机视觉与模式识别
2023-08-25 v1 人工智能
机器学习
摘要
近期的隐式神经表示在新视角合成方面取得了优异的结果。然而，现有方法需要基于大量视角进行昂贵的逐场景优化，因而限制了它们在真实世界无界城市场景中的应用，其中感兴趣物体或背景仅能从极少视角观察到。为缓解这一挑战，我们提出了一种称为 NeO 360（面向室外场景稀疏视角合成的神经场）的新方法。NeO 360 是一种可泛化的方法，可从单张或少量带位姿的 RGB 图像重建 360° 场景。我们方法的核心在于捕捉复杂真实世界室外 3D 场景的分布，并使用一种可从任意世界点查询的混合图像条件三平面表示。我们的表示结合了基于体素和鸟瞰图（BEV）表示的优点，比二者各自都更有效且更具表达力。NeO 360 的表示使我们能够从大量无界 3D 场景中学习，同时在推理时仅用少至单张图像即可泛化到新视角和新场景。我们在提出的具有挑战性的 360° 无界数据集 NeRDS 360 上验证了我们的方法，并表明 NeO 360 在新视角合成上优于最先进的通用方法，同时还提供编辑与组合能力。项目页面：https://zubair-irshad.github.io/projects/neo360.html
引用
@article{arxiv.2308.12967,
title = {NeO 360: Neural Fields for Sparse View Synthesis of Outdoor Scenes},
author = {Muhammad Zubair Irshad and Sergey Zakharov and Katherine Liu and Vitor Guizilini and Thomas Kollar and Adrien Gaidon and Zsolt Kira and Rares Ambrus},
journal= {arXiv preprint arXiv:2308.12967},
year = {2023}
}
备注
Accepted to International Conference on Computer Vision (ICCV), 2023. Project page: https://zubair-irshad.github.io/projects/neo360.html