Semantic-CC：基于基础知识和语义指导提升遥感图像变化描述
计算机视觉与模式识别
2024-07-22 v1
摘要
遥感图像变化描述（RSICC）旨在使用自然语言描述双时遥感图像中感兴趣对象区域内的变化。鉴于当前RSICC方法在表达跨多时间和空间场景中通用特征方面的局限性，以及其在提供细粒度、稳健和精确变化描述方面的不足，我们引入一种基于基础知识和语义指导的新型变化描述方法，称为Semantic-CC。Semantic-CC通过利用基础模型的潜在知识来减轻高通用性算法对大量标注的依赖，并通过来自变化检测（CD）的像素级语义指导生成更全面和准确的变化描述。具体而言，我们提出了一个基于双时SAM的编码器用于双图像特征提取；一个多任务语义聚合颈部用于促进异构任务之间的信息交互；一个简洁的多尺度变化检测解码器提供像素级语义指导；以及一个基于大型语言模型（LLM）的变化描述解码器用于生成变化描述句子。此外，为确保CD和CC联合训练的稳定性，我们提出了一个三阶段训练策略，在各阶段对不同任务进行监督。我们在LEVIR-CC和LEVIR-CD数据集上验证了所提方法。实验结果证实了CD和CC的互补性，表明Semantic-CC能够生成更准确的变化描述，并在两个任务中实现最佳性能。
关键词
引用
@article{arxiv.2407.14032,
title = {Semantic-CC: Boosting Remote Sensing Image Change Captioning via Foundational Knowledge and Semantic Guidance},
author = {Yongshuo Zhu and Lu Li and Keyan Chen and Chenyang Liu and Fugen Zhou and Zhenwei Shi},
journal= {arXiv preprint arXiv:2407.14032},
year = {2024}
}