SC-NeRF：基于稀疏视图的自校正神经辐射场
计算机视觉与模式识别
2023-09-12 v1
摘要
在近期研究中，神经辐射场在新视角合成任务上的泛化性已被广泛探索。然而，现有方法局限于物体与室内场景。本文中，我们将泛化任务扩展至室外场景，且仅在物体级数据集上训练。该方法带来两个挑战。首先，训练与测试场景间的显著分布偏移导致渲染结果中出现黑色伪影。其次，室外场景中的视角变化导致渲染图像中出现重影或缺失区域。为应对这些挑战，我们提出了基于多头注意力机制的几何校正模块与外观校正模块。我们将渲染深度归一化，并与光照方向结合作为注意力机制中的查询。我们的网络有效校正了室外场景中多变的场景结构与几何特征，从物体级到未见室外场景泛化良好。此外，我们使用外观校正模块校正外观特征，防止由于视角变化引起的空白边界与重影等渲染伪影。通过结合这些模块，我们的方法成功应对了室外场景泛化的挑战，产生高质量渲染结果。在四个数据集（Blender、DTU、LLFF、Spaces）上评估时，我们的网络优于先前方法。值得注意的是，相较于MVSNeRF，我们的网络在Spaces室外场景上将平均PSNR从19.369提升至25.989，SSIM从0.838提升至0.889，并将LPIPS从0.265降低至0.224。
引用
@article{arxiv.2309.05028,
title = {SC-NeRF: Self-Correcting Neural Radiance Field with Sparse Views},
author = {Liang Song and Guangming Wang and Jiuming Liu and Zhenyang Fu and Yanzi Miao and Hesheng},
journal= {arXiv preprint arXiv:2309.05028},
year = {2023}
}