DeclutterNeRF：无生成式先验的三维场景恢复用于遮挡移除
计算机视觉与模式识别
2025-04-08 v1
摘要
近期的新视角合成（NVS）技术，包括神经辐射场（NeRF）和三维高斯溅写（3DGS），已大幅提升了三维场景重建的渲染质量和真实细节恢复能力。在保留场景细节的同时有效移除遮挡，进一步可增强这些技术的鲁棒性和适用性。然而，现有针对物体和遮挡移除的主流方法依赖生成式先验，尽管能填补生成的空洞，却会引入新的伪影和模糊。此外，现有评估遮挡移除方法的基准数据集缺乏真实的复杂性和视点变化。为此，我们提出DeclutterSet——一个包含多样化场景的数据集，遮挡分布广泛分布在前景、中景和背景，跨视点的相对运动显著。我们进一步提出DeclutterNeRF，一种无需生成式先验的遮挡移除方法。DeclutterNeRF引入联合多视角优化的可学习相机参数、遮挡退火正则化，并采用可解释的随机结构相似性损失，确保从不完整图像中获得高质量、无伪影的重建。实验表明，DeclutterNeRF在我们提出的DeclutterSet上显著优于当前最先进的方法，为后续研究建立了强大的基准。
引用
@article{arxiv.2504.04679,
title = {DeclutterNeRF: Generative-Free 3D Scene Recovery for Occlusion Removal},
author = {Wanzhou Liu and Zhexiao Xiong and Xinyu Li and Nathan Jacobs},
journal= {arXiv preprint arXiv:2504.04679},
year = {2025}
}
备注
Accepted by CVPR 2025 4th CV4Metaverse Workshop. 15 pages, 10 figures. Code and data at: https://github.com/wanzhouliu/declutter-nerf