面向遥感变化检测的多模态特征融合网络与文本差异增强
计算机视觉与模式识别
2025-09-05 v1 人工智能
摘要
尽管深度学习推动了遥感变化检测（RSCD）的发展，但大多数方法仅依赖图像模态，限制了特征表示、变化模式建模以及泛化能力，尤其在光照和噪声干扰下。为解决这一问题，我们提出 MMChange，一种结合图像和文本模态的多模态 RSCD 方法，以提升准确性和鲁棒性。引入图像特征细化（IFR）模块以突出关键区域并抑制环境噪声。为克服图像特征的语义局限性，我们采用视觉语言模型（VLM）对双时相图像生成语义描述。随后，文本差异增强（TDE）模块捕获细粒度的语义变化，引导模型关注有意义的变化。为弥合模态间的异构性，我们设计了图像-文本特征融合（ITFF）模块，实现深度跨模态集成。在 LEVIRCD、WHUCD 和 SYSUCD 上的大量实验表明，MMChange 在多个指标上持续超越最先进方法，验证了其在多模态 RSCD 中的有效性。代码地址：https://github.com/yikuizhai/MMChange。
引用
@article{arxiv.2509.03961,
title = {Multimodal Feature Fusion Network with Text Difference Enhancement for Remote Sensing Change Detection},
author = {Yijun Zhou and Yikui Zhai and Zilu Ying and Tingfeng Xian and Wenlve Zhou and Zhiheng Zhou and Xiaolin Tian and Xudong Jia and Hongsheng Zhang and C. L. Philip Chen},
journal= {arXiv preprint arXiv:2509.03961},
year = {2025}
}