为何及如何：面向跨光谱图像块匹配的知识引导学习
计算机视觉与模式识别
2024-12-17 v1
摘要
最近，基于特征关系学习的跨光谱图像块匹配受到广泛关注。然而，现有方法逐渐暴露出性能瓶颈问题。为解决这一挑战，我们首次尝试探索特征学习与度量学习之间稳定且高效的桥梁，构建一种知识引导学习网络 (KGL-Net)，在放弃复杂网络结构的同时实现了显著的性能提升。具体而言，我们发现基于特征差异学习的度量学习与基于欧几里得距离的特征学习之间存在特征提取一致性。这为桥梁构建提供了基础。为确保所构建桥梁的稳定性与效率，一方面，我们深入探索了20种组合网络架构；另一方面，构建特征引导损失以实现特征的相互指导。此外，与现有方法不同，我们认为度量分支的特征映射能力应受到更多关注。因此，构建了用于度量学习的硬负样本挖掘策略 (HNSM-M)。据我们所知，这是首次实现度量网络的硬负样本挖掘，并带来了显著的性能提升。大量实验结果表明，KGL-Net 在三种不同的跨光谱图像块匹配场景中实现了SOTA性能。我们的代码已公开于 https://github.com/YuChuang1205/KGL-Net。
引用
@article{arxiv.2412.11161,
title = {Why and How: Knowledge-Guided Learning for Cross-Spectral Image Patch Matching},
author = {Chuang Yu and Yunpeng Liu and Jinmiao Zhao and Xiangyu Yue},
journal= {arXiv preprint arXiv:2412.11161},
year = {2024}
}