用于新街景合成的分割引导神经辐射场
计算机视觉与模式识别
2025-03-19 v1 图像与视频处理
摘要
神经辐射场（NeRF）的最新进展在三维重建和新视角合成方面展现了巨大潜力，尤其是在室内和小规模场景中。然而，将 NeRF 扩展至大规模户外环境面临诸如瞬态物体、稀疏相机与纹理以及光照条件变化等挑战。在本文中，我们提出了一种面向户外街景的分割引导 NeRF 增强方法，聚焦于复杂的城市环境。我们的方法扩展了 ZipNeRF，并利用 Grounded SAM 生成分割掩码，从而有效处理瞬态物体、建模天空以及对地面进行正则化。我们还引入了外观嵌入以适应视图序列中不一致的光照条件。实验结果表明，我们的方法优于基线 ZipNeRF，以更少的伪影和更锐利的细节提升了新视角合成的质量。
引用
@article{arxiv.2503.14219,
title = {Segmentation-Guided Neural Radiance Fields for Novel Street View Synthesis},
author = {Yizhou Li and Yusuke Monno and Masatoshi Okutomi and Yuuichi Tanaka and Seiichi Kataoka and Teruaki Kosiba},
journal= {arXiv preprint arXiv:2503.14219},
year = {2025}
}
备注
Presented at VISAPP2025. Project page: http://www.ok.sc.e.titech.ac.jp/res/NVS/index.html