遥感变化描述中的鲁棒方法：SECOND-CC 数据集与 MModalCC 框架
计算机视觉与模式识别
2025-08-26 v1 人工智能
机器学习
多媒体
摘要
遥感变化描述（RSICC）旨在自然语言中描述两个时间段图像之间的变化。现有方法在面对如光照差异、视角变化、模糊效应等挑战时往往难以胜任，尤其在无变化区域时会导致不准确。此外，不同空间分辨率的图像以及注册误差也会影响描述结果。为此，我们引入了 SECOND-CC，一个新的 RSICC 数据集，包含高分辨率 RGB 图像对、语义分割图以及多样化的真实场景。SECOND-CC 包含 6,041 对双时相遥感图像及 30,205 句描述图像差异的中文句子。此外，我们提出了 MModalCC，一种多模态框架，通过包括跨模态跨注意力（CMCA）和多模态门控跨注意力（MGCA）等先进注意力机制，将语义和视觉数据进行集成。详细的消融研究和注意力可视化进一步证明了其有效性以及针对 RSICC 挑战的能力。全面的实验表明，MModalCC 在 BLEU4 分数上提高了 +4.6%，在 CIDEr 分数上提高了 +9.6%，显著优于 RSICCformer、Chg2Cap 和 PSNet 等最新方法。我们将在 https://github.com/ChangeCapsInRS/SecondCC 上公开此数据集和代码，以促进未来研究。
引用
@article{arxiv.2501.10075,
title = {Robust Change Captioning in Remote Sensing: SECOND-CC Dataset and MModalCC Framework},
author = {Ali Can Karaca and M. Enes Ozelbas and Saadettin Berber and Orkhan Karimli and Turabi Yildirim and M. Fatih Amasyali},
journal= {arXiv preprint arXiv:2501.10075},
year = {2025}
}
备注
This work has been submitted to the IEEE Transactions on Geoscience and Remote Sensing journal for possible publication