新视角合成中高效且有效的相机姿态估计策略的基准测试
计算机视觉与模式识别
2026-03-24 v1
摘要
新视角合成（NVS）方法（如 NeRF 或 3DGS）可以从一组具有已知外参和内参的图像中生成照片级真实的 3D 场景表示。所需的相机姿态和标定通常通过运动恢复结构（SfM）从图像中获取。经典的 SfM 方法依赖图像之间的局部特征匹配来估计姿态和场景的稀疏 3D 模型，并使用 bundle adjustment 来优化初始姿态、内参和几何估计。为了提高运行效率，近期的 SfM 系统放弃了 bundle adjustment 优化，转而训练前馈（基于 transformer 的）神经网络来直接回归相机参数和 3D 结构。虽然效率提高了数个数量级，但此类近期工作产生的估计精度显著降低。为了激发开发既高效又有效的 SfM 方法的研究，本文开发了一个专注于新视角合成中 SfM 的基准测试。利用现有数据集和两种使重建过程更高效的简单策略，我们展示了：（1）仅使用更少的特征即可显著加速经典 SfM 方法，同时保持较高的姿态精度。（2）使用前馈网络获取初始估计并结合经典 SfM 技术进行优化，可以获得最佳的效率-效果权衡。我们将公开我们的基准测试和代码。
引用
@article{arxiv.2603.20428,
title = {Benchmarking Efficient & Effective Camera Pose Estimation Strategies for Novel View Synthesis},
author = {Jhacson Meza and Martin R. Oswald and Torsten Sattler},
journal= {arXiv preprint arXiv:2603.20428},
year = {2026}
}