PERF：从单张全景图生成全景神经辐射场
摘要
神经辐射场（NeRF）在给定多视角图像的新视角合成方面取得了实质性进展。最近，一些工作尝试利用 3D 先验从单张图像训练 NeRF。它们主要关注视野有限且遮挡较少的场景，这极大限制了其在具有大尺寸遮挡的真实世界 360 度全景场景中的可扩展性。在本文中，我们提出 PERF，一个从单张全景图训练全景神经辐射场的 360 度新视角合成框架。值得注意的是，PERF 允许在复杂场景中进行 3D 漫游，而无需昂贵且繁琐的图像采集。为实现这一目标，我们提出了一种新颖的协同 RGBD 修复方法和一种渐进式修复与擦除方法，将 360 度 2D 场景提升为 3D 场景。具体而言，我们首先根据单张全景图预测全景深度图作为初始化，并通过体渲染重建可见的 3D 区域。然后我们将一种协同 RGBD 修复方法引入 NeRF 中，以从随机视角补全 RGB 图像和深度图，该方法源自 RGB Stable Diffusion 模型和单目深度估计器。最后，我们引入一种修复与擦除策略，以避免新采样视角与参考视角之间出现不一致的几何结构。这两个组件被集成到 NeRF 的学习中，构成一个统一的优化框架，并取得了有前景的结果。在 Replica 和一个新数据集 PERF-in-the-wild 上的大量实验证明了我们的 PERF 优于最先进的方法。我们的 PERF 可广泛应用于真实世界应用，例如全景到 3D、文本到 3D 以及 3D 场景风格化应用。项目页面和代码分别可在 https://perf-project.github.io/ 和 https://github.com/perf-project/PeRF 获取。
引用
@article{arxiv.2310.16831,
title = {PERF: Panoramic Neural Radiance Field from a Single Panorama},
author = {Guangcong Wang and Peng Wang and Zhaoxi Chen and Wenping Wang and Chen Change Loy and Ziwei Liu},
journal= {arXiv preprint arXiv:2310.16831},
year = {2023}
}
备注
Project Page: https://perf-project.github.io/ , Code: https://github.com/perf-project/PeRF