迈向遥感中的全面交互式变化理解：一个大规模数据集与双粒度增强的视觉语言模型
计算机视觉与模式识别
2026-01-01 v2
摘要
遥感变化理解（RSCU）对于分析遥感图像和理解人类活动如何影响环境至关重要。然而，现有数据集在多样化的变化描述、计数和定位任务中缺乏深度理解和交互。为弥补这些差距，我们构建了 ChangeIMTI，一个新的、大规模交互式多任务指令数据集，包含四个互补任务：变化描述、二值变化分类、变化计数和变化定位。基于这个新数据集，我们进一步设计了一个新颖的视觉引导视觉语言模型（ChangeVG），该模型对双时相遥感图像（即同一区域不同时间的两张遥感图像）具有双粒度感知能力。引入的视觉引导模块是一个双分支架构，协同结合了细粒度空间特征提取与高层语义摘要。这些丰富的表示进一步作为辅助提示，在指令微调期间引导大型视觉语言模型（VLM）（例如 Qwen2.5-VL-7B），从而促进分层跨模态学习。我们在四个任务上进行了广泛的实验，以证明我们方法的优越性。值得注意的是，在变化描述任务上，我们的方法在综合 S*m 指标上比最强方法 Semantic-CC 高出 1.39 分，该指标整合了语义相似度和描述准确性，以提供对变化描述的全面评估。此外，我们还进行了一系列消融研究，以检验我们方法的关键组件。本工作的源代码和相关数据已在 Github 上公开。
引用
@article{arxiv.2509.23105,
title = {Towards Comprehensive Interactive Change Understanding in Remote Sensing: A Large-scale Dataset and Dual-granularity Enhanced VLM},
author = {Junxiao Xue and Quan Deng and Xuecheng Wu and Kelu Yao and Xinyi Yin and Fei Yu and Wei Zhou and Yanfei Zhong and Yang Liu and Dingkang Yang},
journal= {arXiv preprint arXiv:2509.23105},
year = {2026}
}
备注
Junxiao Xue, Quan Deng, and Xuecheng Wu deserve equal contributions