Re-Nerfing：通过新视角合成改进新视角合成
计算机视觉与模式识别
2024-08-29 v3 图形学
机器学习
摘要
最近的神经渲染与重建技术，例如 NeRF 或 Gaussian Splatting，展现了卓越的新视角合成能力，但需要从不同视角拍摄的场景数百张图像才能渲染出高质量的新视角。当可用图像较少时，这些方法开始失效，因为它们无法正确地对底层3D几何进行三角测量，从而收敛于非最优解。这些失效可能表现为场景稀疏观测区域中的悬浮伪影或模糊渲染。在本文中，我们提出了 Re-Nerfing，一种简单且通用的附加方法，它利用新视角合成本身来解决这一问题。使用已训练的 NVS 方法，我们在现有视角之间渲染新视角，并扩充训练数据以优化第二个模型。这引入了额外的多视角约束，并允许第二个模型收敛到更好的解。通过 Re-Nerfing，我们在 mip-NeRF 360 和 LLFF 数据集的稀疏视角设置下，在多个基于 NeRF 和 Gaussian-Splatting 的流程上取得了显著改进。值得注意的是，Re-Nerfing 不需要先验知识或额外的监督信号，使其成为一种灵活且实用的附加组件。
引用
@article{arxiv.2312.02255,
title = {Re-Nerfing: Improving Novel View Synthesis through Novel View Synthesis},
author = {Felix Tristram and Stefano Gasperini and Nassir Navab and Federico Tombari},
journal= {arXiv preprint arXiv:2312.02255},
year = {2024}
}
备注
Code will be released upon acceptance