基于图像特征匹配的跨尺度时空融合注意力遥感目标检测
计算机视觉与模式识别
2025-10-03 v1
摘要
有效描述跨模态遥感图像的特征以实现匹配仍是一个具有挑战性的任务，由于多模态图像之间存在显著的几何和辐射差异。现有方法主要在完全连接层提取特征，往往难以有效捕获跨模态相似性。我们提出了跨尺度时空融合（CSTF）机制，通过整合参考图像和查询图像中独立检测的尺度不变关键点，来增强特征表示。我们的 метод通过两种方式改进特征匹配：首先，通过创建利用多个图像区域信息的对应图；其次，将相似性匹配过程重新表述为使用 SoftMax 和全卷积网络（FCN）层的分类任务。这种双重方法使 CSTF 能够保持对显著局部特征的敏感性，同时融合更广阔的上下文信息，从而在 diverse remote sensing modalities 之间实现稳健匹配。为演示改进特征匹配的实际效用，我们在 HRSC2016 和 DOTA 数据集上评估 CSTF 的目标检测性能。该方法在 HRSC2016 上实现 90.99% 的平均 mAP，在 DOTA 上实现 90.86% 的 mAP，超越现有模型。CSTF 模型在推理速度上达到 12.5 FPS，保持计算效率。这些结果表明，跨模态特征匹配方法直接提升了诸如目标检测等下游遥感应用的性能。
引用
@article{arxiv.2507.19118,
title = {Cross Spatial Temporal Fusion Attention for Remote Sensing Object Detection via Image Feature Matching},
author = {Abu Sadat Mohammad Salehin Amit and Xiaoli Zhang and Md Masum Billa Shagar and Zhaojun Liu and Xiongfei Li and Fanlong Meng},
journal= {arXiv preprint arXiv:2507.19118},
year = {2025}
}