基于状态空间模型的遥感图像变化描述
计算机视觉与模式识别
2024-05-22 v3
摘要
遥感图像变化描述旨在以语言描述多时相遥感图像之间表面变化，包括变化对象类别、位置以及变化物体的动态（如添加或消失）。这对时空特征建模提出了挑战。尽管前期方法在时空感知方面取得进展，但在联合时空建模方面仍存在不足。为此，本文提出一种新型RSCaMa模型，通过多个CaMa层实现高效的联合时空建模，使双时相特征能够迭代细化。为实现高效时空建模，本文引入近期流行的Mamba（一种状态空间模型），其具有全局感受野和线性复杂度，并提出时空差异感知SSM（SD-SSM），克服了基于CNN和Transformer的方法在感受野和计算复杂度方面的局限。SD-SSM增强了模型捕捉时空变化的能力。在高效时空建模方面，考虑到Mamba的时空扫描特征与RSICC时序性之间的潜在相关性，我们提出时空穿越SSM（TT-SSM），以时空交叉方式扫描双时相特征，增强了模型的时序理解和信息交互。实验验证了高效联合时空建模的有效性，展示了RSCaMa在RSICC任务中的卓越性能以及Mamba在该任务中的潜力。此外，我们系统比较了三种不同的语言解码器，包括Mamba、GPT式解码器和Transformer解码器，为未来RSICC研究提供了宝贵的见解。代码将在\emph{\url{https://github.com/Chen-Yang-Liu/RSCaMa}}发布。
引用
@article{arxiv.2404.18895,
title = {RSCaMa: Remote Sensing Image Change Captioning with State Space Model},
author = {Chenyang Liu and Keyan Chen and Bowen Chen and Haotian Zhang and Zhengxia Zou and Zhenwei Shi},
journal= {arXiv preprint arXiv:2404.18895},
year = {2024}
}