基于轻量Transformer的自监督异构图像匹配网络
计算机视觉与模式识别
2024-05-01 v1 多媒体
摘要
可见光与近红外图像的匹配仍然是遥感图像融合中的一个重大挑战。异构遥感图像之间的非线性辐射差异使得图像匹配任务更加困难。近年来，深度学习在计算机视觉任务中获得了广泛关注。然而，许多方法依赖于监督学习，需要大量标注数据。然而，在遥感图像匹配领域，标注数据通常有限。为了解决这一挑战，本文提出了一种新颖的关键点描述子方法，通过自监督匹配网络获得鲁棒的特征描述子。设计了一个轻量级Transformer网络，称为LTFormer，用于生成深层特征描述子。此外，我们实现了一种创新的三元组损失函数LT Loss，以进一步提升匹配性能。我们的方法优于传统手工设计的局部特征描述子，并且在标注数据短缺的情况下，与最先进的深度学习方法相比同样具有竞争力。
引用
@article{arxiv.2404.19311,
title = {A Light-weight Transformer-based Self-supervised Matching Network for Heterogeneous Images},
author = {Wang Zhang and Tingting Li and Yuntian Zhang and Gensheng Pei and Xiruo Jiang and Yazhou Yao},
journal= {arXiv preprint arXiv:2404.19311},
year = {2024}
}
备注
accepted by Information Fusion