OmniGlue：基于基础模型引导的可泛化特征匹配

图像匹配领域不断涌现出新颖的可学习特征匹配技术，在传统基准测试上的性能持续提升。然而，我们的研究表明，尽管取得了这些进展，但由于对新颖图像域的泛化能力有限，其在实际应用中的潜力受到限制。在本文中，我们介绍了 OmniGlue，这是首个以泛化为核心原则设计的可学习图像匹配器。OmniGlue 利用视觉基础模型的广泛知识来指导特征匹配过程，提升了对训练时未见域的泛化能力。此外，我们提出了一种新颖的关键点位置引导注意力机制，该机制解耦了空间和外观信息，从而增强了匹配描述符。我们在包含不同图像域的 $7$ 个数据集上进行了全面实验，包括场景级、以物体为中心和航空图像。OmniGlue 的新组件在与直接可比的参考模型相比时，在未见域上实现了 $20.9\%$ 的相对增益，同时相对优于近期的 LightGlue 方法 $9.5\%$。代码和模型可在 https://hwjiang1510.github.io/OmniGlue 找到。