具有可微位姿优化的端到端多视图特征匹配
计算机视觉与模式识别
2023-09-12 v3
摘要
错误的特征匹配对后续相机位姿估计有严重影响，且常需额外、耗时的措施（如RANSAC）进行离群值剔除。我们的方法通过联合处理特征匹配与位姿优化来应对此挑战。为此，我们提出一种图注意力网络来预测图像对应点及置信权重。所得匹配作为可微位姿估计中的加权约束。利用来自位姿优化的梯度训练特征匹配，自然学会降低离群值权重，并在ScanNet上将位姿估计较SuperGlue提升6.7%。同时，它将位姿估计时间减少逾50%，且无需RANSAC迭代。此外，我们通过将图跨越多个帧来整合多视图信息，一次性预测所有匹配。多视图匹配结合端到端训练在Matterport3D上将位姿估计指标较SuperGlue改善18.5%。
引用
@article{arxiv.2205.01694,
title = {End2End Multi-View Feature Matching with Differentiable Pose Optimization},
author = {Barbara Roessle and Matthias Nießner},
journal= {arXiv preprint arXiv:2205.01694},
year = {2023}
}
备注
ICCV 2023, project page: https://barbararoessle.github.io/e2e_multi_view_matching , video: https://youtu.be/uuLb6GfM9Cg