CamP：面向神经辐射场的相机预处理
计算机视觉与模式识别
2023-09-01 v2 图形学
摘要
神经辐射场（NeRF）可被优化以获得物体和大规模场景的高保真三维重建。然而，NeRF 需要以准确的相机参数作为输入——不准确的相机参数会导致模糊的渲染结果。外参与内参相机参数通常作为 NeRF 的预处理步骤使用运动恢复结构（SfM）方法估计，但这些技术很少给出完美估计。因此，先前工作提出将相机参数与 NeRF 联合优化，但这类方法在困难设定下容易陷入局部极小。本工作中，我们分析了不同相机参数化方式如何影响该联合优化问题，并观察到标准参数化相对于微小扰动在量级上差异巨大，从而导致病态优化问题。我们提出使用一个代理问题来计算白化变换，以消除相机参数间的相关性并归一化其影响，并提议将该变换用作联合优化过程中相机参数的预条件子。我们的预条件相机优化在 Mip-NeRF 360 数据集上的重建质量显著提升：相较于不优化相机的先进 NeRF 方法（如 Zip-NeRF），我们将误差率（RMSE）降低了 67%；相较于使用 SCNeRF 相机参数化的先进联合优化方法，相对降低了 29%。我们的方法易于实现、不显著增加运行时间、可应用于多种相机参数化，并可直接融入其他类 NeRF 模型。
引用
@article{arxiv.2308.10902,
title = {CamP: Camera Preconditioning for Neural Radiance Fields},
author = {Keunhong Park and Philipp Henzler and Ben Mildenhall and Jonathan T. Barron and Ricardo Martin-Brualla},
journal= {arXiv preprint arXiv:2308.10902},
year = {2023}
}
备注
SIGGRAPH Asia 2023, Project page: https://camp-nerf.github.io