TD-NeRF: novel 截断深度先验用于联合相机姿态和神经辐射场优化
计算机视觉与模式识别
2024-10-08 v2 人工智能
机器人学
摘要
准确相机姿态是神经辐射场( NeRF)模型在3D重建和SLAM任务中广泛部署的重要障碍。现有方法引入单目深度先验以联合优化相机姿态和NeRF，但未能充分利用深度先验，忽略其固有的噪声影响。本文提出了截断深度NeRF( TD-NeRF)，一种新方法，使其能够从未知相机姿态训练NeRF，通过联合优化辐射场的可学习参数和相机姿态。我们的方法通过三项关键改进显式利用单目深度先验：1)我们提出一种基于截断正态分布的深度基射样本策略，提高姿态估计的收敛速度和准确性；2)为规避局部最小值并细化深度几何，我们引入粗到细训练策略，以逐步提高深度精度；3)我们提出更稳健的帧间点约束，增强对深度噪声的鲁棒性。三个数据集上的实验结果表明，TD-NeRF在相机姿态和NeRF的联合优化方面性能优于先前方法，生成更精确的深度几何。本方法的实现已发布于 https://github.com/nubot-nudt/TD-NeRF。
引用
@article{arxiv.2405.07027,
title = {TD-NeRF: Novel Truncated Depth Prior for Joint Camera Pose and Neural Radiance Field Optimization},
author = {Zhen Tan and Zongtan Zhou and Yangbing Ge and Zi Wang and Xieyuanli Chen and Dewen Hu},
journal= {arXiv preprint arXiv:2405.07027},
year = {2024}
}