基于方向学习的宽基线相对相机位姿估计
计算机视觉与模式识别
2024-12-06 v1
摘要
现代回归两幅图像之间相对相机位姿的深度学习技术在应对具有挑战性的场景时存在困难，例如导致遮挡的大幅度相机运动以及造成图像间重叠很少的显著视角变化。即便借助大型有监督训练数据集，这些模型仍然表现不佳。为解决这些模型的局限性，我们从一些技术中获得启发，这些技术表明通过估计关键点位置的离散分布可以改善 2D 和 3D 关键点位置的回归。类似地，本文中我们探索通过预测相机位姿的离散分布来改进相机位姿回归。为实现这一想法，我们引入了 DirectionNet，它使用一种新颖的参数化方法在 5D 相对位姿空间上估计离散分布，以使估计问题易于处理。具体而言，DirectionNet 将由其 3D 旋转和位移方向指定的相对相机位姿分解为一组 3D 方向向量。由于 3D 方向可对应于球面上的点，DirectionNet 将球面上的离散分布作为其输出进行估计。我们在基于 Matterport3D 和 InteriorNet 构建的具有挑战性的合成与真实位姿估计数据集上评估了我们的模型。令人鼓舞的结果显示，相较于直接回归方法，误差降低了近 50%。
引用
@article{arxiv.2106.03336,
title = {Wide-Baseline Relative Camera Pose Estimation with Directional Learning},
author = {Kefan Chen and Noah Snavely and Ameesh Makadia},
journal= {arXiv preprint arXiv:2106.03336},
year = {2024}
}