LoFLAT：使用聚焦线性注意力Transformer的局部特征匹配
计算机视觉与模式识别
2024-10-31 v1
摘要
局部特征匹配是图像匹配中的一项关键技术，在广泛的基于视觉的应用中扮演着关键角色。然而，现有的基于Transformer的无检测器局部特征匹配方法由于注意力机制的二次计算复杂度而面临挑战，尤其是在高分辨率下。然而，虽然现有的基于Transformer的无检测器局部特征匹配方法已使用线性注意力机制降低了计算成本，但它们仍然难以捕捉详细的局部交互，这影响了精确局部对应关系的准确性和鲁棒性。为了在保持低计算复杂度的同时增强注意力机制的表示能力，我们在本文中提出了LoFLAT，一种新颖的基于聚焦线性注意力Transformer的局部特征匹配方法。我们的LoFLAT由三个主要模块组成：特征提取模块、特征Transformer模块和匹配模块。具体来说，特征提取模块首先使用ResNet和特征金字塔网络提取层次化特征。特征Transformer模块进一步采用聚焦线性注意力，通过聚焦映射函数细化注意力分布，并通过深度可分离卷积增强特征多样性。最后，匹配模块通过从粗到精的策略预测准确且鲁棒的匹配。广泛的实验评估表明，所提出的LoFLAT在效率和准确性方面均优于LoFTR方法。
引用
@article{arxiv.2410.22710,
title = {LoFLAT: Local Feature Matching using Focused Linear Attention Transformer},
author = {Naijian Cao and Renjie He and Yuchao Dai and Mingyi He},
journal= {arXiv preprint arXiv:2410.22710},
year = {2024}
}