遥感改变描述：基于单阶段 Transformer 方法的 SAT-Cap 演进
计算机视觉与模式识别
2025-01-15 v1
摘要
改变描述已成为准确描述多时相遥感数据中变化的关键技术，通过自然语言提供了一种直观的方式来监测地球动态。然而，现有的改变描述方法面临两个关键挑战：由于多阶段融合策略导致的高计算需求，以及由于从单个图像中提取的语义信息有限导致的对象描述细节不足。为解决这些挑战，我们提出了基于Transformer模型的SAT-Cap方法，采用单阶段特征融合用于遥感改变描述。在 particular，SAT-Cap集成了空间-通道注意力编码器、差分引导融合模块和描述解码器。与需要在Transformer编码器和融合模块中进行多阶段融合的典型模型相比，SAT-Cap仅使用简单的余弦相似度基于融合模块进行信息集成，显著降低了模型架构的复杂性。通过在空间-通道注意力编码器中联合建模空间和通道信息，我们的方法显著增强了模型从多时相遥感图像中提取对象语义信息的能力。大量实验验证了SAT-Cap的有效性，在LEVIR-CC数据集上实现了140.23%的CIDEr分数，在DUBAI-CC数据集上实现了97.74%的分数，超越了当前最先进的方法。该代码和预训练模型将在线上提供。
引用
@article{arxiv.2501.08114,
title = {Change Captioning in Remote Sensing: Evolution to SAT-Cap -- A Single-Stage Transformer Approach},
author = {Yuduo Wang and Weikang Yu and Pedram Ghamisi},
journal= {arXiv preprint arXiv:2501.08114},
year = {2025}
}