用于跨光谱图像块匹配的关系表示学习网络
计算机视觉与模式识别
2025-04-22 v3
摘要
近年来，特征关系学习在跨光谱图像块匹配中引起了广泛关注。然而，现有的相关研究侧重于提取图像块特征之间的多样关系，而忽略了单个图像块的充分内在特征表示。因此，我们提出了一种创新的关系表示学习思路，同时关注充分挖掘单个图像块的内在特征以及图像块特征之间的关系。基于此，我们构建了关系表示学习网络 (RRL-Net)。具体而言，我们创新性地构建了一个自编码器以充分表征个体内在特征，并引入了特征交互学习 (FIL) 模块来提取深层特征关系。为了进一步充分挖掘个体内在特征，构建了一个轻量级多维全局到局部注意力 (MGLA) 模块，以增强单个图像块的全局特征提取并捕获全局特征内的局部依赖关系。通过结合 MGLA 模块，我们进一步探索了特征提取网络并构建了基于注意力的轻量级特征提取 (ALFE) 网络。此外，我们提出了一种多损失后剪枝 (MLPP) 优化策略，在避免参数和推理时间增加的同时，极大地促进了网络优化。大量实验表明，我们的 RRL-Net 在多个公开数据集上取得了最先进的 (SOTA) 性能。我们的代码可在 https://github.com/YuChuang1205/RRL-Net 获取。
引用
@article{arxiv.2403.11751,
title = {Relational Representation Learning Network for Cross-Spectral Image Patch Matching},
author = {Chuang Yu and Yunpeng Liu and Jinmiao Zhao and Dou Quan and Zelin Shi and Xiangyu Yue},
journal= {arXiv preprint arXiv:2403.11751},
year = {2025}
}