DeepMatcher：一种基于深度 Transformer 的鲁棒精确局部特征匹配网络
计算机视觉与模式识别
2023-01-10 v1
摘要
图像间的局部特征匹配仍是一项具有挑战性的任务，尤其在存在显著外观变化（如极端视角变化）的情况下。在本工作中，我们提出了 DeepMatcher，一个基于我们对无检测器方法中局部特征匹配研究的、构建于深度 Transformer 之上的网络。关键见解是，具有深层的局部特征匹配器能够捕捉更具人类直觉且更易匹配的特征。基于此，我们为 DeepMatcher 提出了专用的 Slimming Transformer（SlimFormer），它利用基于向量的注意力对所有关键点之间的相关性建模，并以高效有效的方式实现长程上下文聚合。每个 SlimFormer 均施加相对位置编码，以显式揭示相对距离信息，进一步改善关键点的表示。每个 SlimFormer 中还采用了层缩放策略，使网络能自适应地吸收来自残差块的消息交换，从而模拟人类每次扫描图像对时能获取不同匹配线索的行为。为促进 SlimFormer 的更好适配，我们引入了特征过渡模块（FTM），以确保具有不同感受野的特征范围之间的平滑过渡。通过多次交错自-与交叉-SlimFormer，DeepMatcher 可在粗粒度上轻松建立像素级稠密匹配。最后，我们将匹配细化视为分类与回归问题的结合，并设计精细匹配模块同时预测置信度与偏移，从而生成鲁棒且精确的匹配。实验上，我们表明 DeepMatcher 在多个基准上显著优于最先进（SOTA）方法，展示了其优越的匹配能力。
引用
@article{arxiv.2301.02993,
title = {DeepMatcher: A Deep Transformer-based Network for Robust and Accurate Local Feature Matching},
author = {Tao Xie and Kun Dai and Ke Wang and Ruifeng Li and Lijun Zhao},
journal= {arXiv preprint arXiv:2301.02993},
year = {2023}
}