面向新视角合成的高效且有效的相机姿态估计策略基准测试

新视角合成（NVS）方法如 NeRF 或 3DGS 可从带有已知外参和内参的图像集生成照片般逼真的 3D 场景表示。典型地，通过结构化运动（SfM）获取必要的相机姿态和标定。经典 SfM 方法依赖图像间的局部特征匹配来估计姿态和稀疏 3D 场景模型，并通过 bundle adjustment 细化初始姿态、内参和几何估计。为提高运行时效率，近期 SfM 系统放弃通过 bundle adjustment 进行优化，而是训练前馈（基于转换器的）神经网络直接回归相机参数和 3D 结构。虽然计算效率提升数十倍，但会显著牺牲估计精度。为刺激开发既高效又有效的 SfM 方法，本文构建了一个专注于新视角合成的基准测试。利用现有数据集和两种简单策略提高重建效率，结果表明：（1）仅减少特征数量即可显著加速经典 SfM 方法，同时保持高精度姿态估计；（2）使用前馈网络获取初始估计值，再结合经典 SfM 技术细化，可实现最佳的效率-效果权衡。我们将公开基准测试数据集和代码。