中文

AMatFormer:基于锚点匹配 Transformer 的高效特征匹配

计算机视觉与模式识别 2023-05-31 v1 人工智能

摘要

基于学习的特征匹配方法近年来已被广泛研究。学习特征匹配的核心问题是如何学习(1)各图像内特征点(或区域)的判别性表示,以及(2)跨图像特征点的共识表示。近来,自注意力与交叉注意力模型已被用于解决该问题。然而,在许多场景中,特征具有大规模、冗余且含离群点的特点。先前的自/交叉注意力模型通常在所有原始特征上进行消息传递,从而导致冗余学习和高计算成本。为缓解这些局限,受近期种子匹配方法启发,本文提出一种新颖的高效锚点匹配 Transformer(AMatFormer)用于特征匹配问题。AMatFormer 有两个主要方面:首先,它主要在若干锚点特征上进行自/交叉注意力,并利用这些锚点特征作为消息瓶颈来学习所有原始特征的表示,因此可高效且紧凑地实现。其次,AMatFormer 采用共享 FFN 模块进一步将两幅图像的特征嵌入至公共域,从而学习用于匹配问题的共识特征表示。在多个基准上的实验证明了所提 AMatFormer 匹配方法的有效性与高效性。

关键词

引用

@article{arxiv.2305.19205,
  title  = {AMatFormer: Efficient Feature Matching via Anchor Matching Transformer},
  author = {Bo Jiang and Shuxian Luo and Xiao Wang and Chuanfu Li and Jin Tang},
  journal= {arXiv preprint arXiv:2305.19205},
  year   = {2023}
}

备注

Accepted by IEEE Transactions on Multimedia (TMM) 2023