SuperGlue:利用图神经网络学习特征匹配
计算机视觉与模式识别
2020-03-31 v2
摘要
本文介绍 SuperGlue,一种通过联合寻找对应点并拒绝不可匹配点来匹配两组局部特征的神经网络。分配通过求解一个可微的最优传输问题来估计,其代价由一个图神经网络预测。我们引入了一种基于注意力的灵活上下文聚合机制,使 SuperGlue 能够联合推理底层 3D 场景与特征分配。与传统手工设计的启发式方法相比,我们的技术通过图像对的端到端训练学习了关于几何变换与 3D 世界规律性的先验。SuperGlue 优于其他学习方法,并在具有挑战性的真实世界室内外环境的姿态估计任务上取得了最先进的结果。所提方法在现代 GPU 上实时执行匹配,并可轻易集成到现代 SfM 或 SLAM 系统中。代码与训练权重公开于 https://github.com/magicleap/SuperGluePretrainedNetwork。
引用
@article{arxiv.1911.11763,
title = {SuperGlue: Learning Feature Matching with Graph Neural Networks},
author = {Paul-Edouard Sarlin and Daniel DeTone and Tomasz Malisiewicz and Andrew Rabinovich},
journal= {arXiv preprint arXiv:1911.11763},
year = {2020}
}
备注
Oral at CVPR 2020, with appendix and link to publicly available code