CBARF：基于不完美相机位姿的级联束调整神经辐射场
计算机视觉与模式识别
2023-10-17 v1
摘要
现有的体素神经渲染技术，如神经辐射场（NeRF），在输入图像相机位姿不完美时，在合成高质量新视角方面存在局限。为解决此问题，我们提出一种新颖的 3D 重建框架，可同时优化相机位姿，称为 CBARF（级联束调整 NeRF）。简而言之，我们的框架以由粗到精的方式优化相机位姿，并基于校正后的位姿重建场景。观察到相机位姿的初始化对束调整（BA）性能有显著影响。因此，我们在不同尺度上层级级联多个 BA 模块以逐步改善相机位姿。同时，我们开发了一种邻域替换策略，以进一步优化各阶段 BA 的结果。在此步骤中，我们引入一种新准则来有效识别估计不佳的相机位姿，然后用相邻相机的位姿替换它们，从而进一步消除不准确相机位姿的影响。一旦相机位姿得到优化，我们采用密度体素网格生成高质量 3D 重建场景与新视角图像。实验结果表明，我们的 CBARF 模型在位姿优化与新视角合成上均达到最先进性能，尤其在存在较大相机位姿噪声时。
引用
@article{arxiv.2310.09776,
title = {CBARF: Cascaded Bundle-Adjusting Neural Radiance Fields from Imperfect Camera Poses},
author = {Hongyu Fu and Xin Yu and Lincheng Li and Li Zhang},
journal= {arXiv preprint arXiv:2310.09776},
year = {2023}
}