JamMa：基于联合Mamba的超轻量局部特征匹配
计算机视觉与模式识别
2025-03-06 v1
摘要
现有最先进的特征匹配器利用Transformer捕获长程依赖，但受限于高空间复杂度，导致训练要求高且推理延迟大。在性能与效率之间取得更好的平衡仍是特征匹配中的挑战。受Mamba线性复杂度O(N)的启发，我们提出了一种超轻量的基于Mamba的匹配器JamMa，它可在单块GPU上收敛，并在推理中实现了令人瞩目的性能-效率平衡。为释放Mamba在特征匹配中的潜力，我们提出了联合Mamba及一种名为JEGO的扫描合并策略，实现了：(1) 对两张图像进行联合扫描以达成高频相互交互，(2) 通过跳跃步长进行高效扫描以减少序列长度，(3) 全局感受野，以及(4) omnidirectional特征表示。凭借上述特性，JEGO策略在特征匹配任务中显著优于VMamba和EVMamba中提出的扫描合并策略。与基于注意力机制的稀疏和半密集匹配器相比，JamMa在性能与效率之间展现了更优的平衡，以不到50%的参数量和FLOPs实现了更好的性能。
引用
@article{arxiv.2503.03437,
title = {JamMa: Ultra-lightweight Local Feature Matching with Joint Mamba},
author = {Xiaoyong Lu and Songlin Du},
journal= {arXiv preprint arXiv:2503.03437},
year = {2025}
}
备注
CVPR 2025, Project page: https://leoluxxx.github.io/JamMa-page/