LU-NeRF：通过同步局部无位姿 NeRF 实现场景与位姿估计
计算机视觉与模式识别
2023-06-09 v1
摘要
阻碍 NeRF 模型在真实场景中广泛部署的一个关键障碍是它们对精确相机位姿的依赖。因此，将 NeRF 模型扩展为联合优化相机位姿与场景表示的兴趣日益增长，这为具有明确失效模式的现成 SfM 流水线提供了一种替代方案。现有的无位姿 NeRF 方法在有限假设下运行，例如先验位姿分布或粗略位姿初始化，使其在通用设置中效果较差。在本工作中，我们提出一种新方法 LU-NeRF，在放宽位姿配置假设的情况下联合估计相机位姿与神经辐射场。我们的方法以局部到全局的方式运行，首先优化数据的局部子集，称为 mini-scenes（小场景）。LU-NeRF 针对这一极具挑战性的少样本任务估计局部位姿与几何。小场景位姿通过一个鲁棒的位姿同步步骤被带入全局参考系，从而可以执行最终的位姿与场景全局优化。我们展示了我们的 LU-NeRF 流水线在不对位姿先验施加限制性假设的情况下优于先前的无位姿 NeRF 尝试。这使我们能够在通用 SE(3) 位姿设置下运行，而基线方法则不行。我们的结果还表明，我们的模型可作为基于特征的 SfM 流水线的补充，因为在低纹理和低分辨率图像上它与 COLMAP 相比具有优势。
引用
@article{arxiv.2306.05410,
title = {LU-NeRF: Scene and Pose Estimation by Synchronizing Local Unposed NeRFs},
author = {Zezhou Cheng and Carlos Esteves and Varun Jampani and Abhishek Kar and Subhransu Maji and Ameesh Makadia},
journal= {arXiv preprint arXiv:2306.05410},
year = {2023}
}
备注
Project website: https://people.cs.umass.edu/~zezhoucheng/lu-nerf/