DeltaVLM：基于指令引导的遥感图像变化分析交互式框架
摘要
准确解释多时相卫星图像中的陆地覆盖变化对于实际场景至关重要。然而，现有方法通常仅提供单次变化掩码或静态描述，限制了其支持交互式、查询驱动分析的能力。本文提出遥感图像变化分析 (RSICA) 作为一种新范式，将变化检测与视觉问答优势结合起来，实现对 bi-temporal 遥感图像中变化的多轮、指令引导式探索。为支持此任务，我们构建 ChangeChat-105k，一个大规模指令遵循数据集，通过混合规则驱动和 GPT 辅助过程生成，涵盖六种交互类型：change captioning、classification、quantification、localization、open-ended question answering 和 multi-turn dialogues。基于该数据集，我们提出 DeltaVLM，一个为交互式 RSICA 量身定制的端到端架构。DeltaVLM 具有三项创新：(1) 微调的 bi-temporal 视觉编码器捕获时序差异；(2) 具备跨语义关系测量 (CSRM) 机制的视觉差异感知模块，用于解释变化；(3) 指令引导 Q-former 有效提取视觉变化中与查询相关的差异信息，与文本指令对齐。我们使用冻结大语言模型在 ChangeChat-105k 上训练 DeltaVLM，仅调整视觉和对齐模块以优化效率。大量实验和消融研究表明，DeltaVLM 在单轮 captioning 和多轮交互式变化分析中均实现了最新性能，超越现有多模态大语言模型和遥感视觉语言模型。代码、数据集和预训练权重均可在 https://github.com/hanlinwu/DeltaVLM 查阅。
引用
@article{arxiv.2507.22346,
title = {DeltaVLM: Interactive Remote Sensing Image Change Analysis via Instruction-guided Difference Perception},
author = {Pei Deng and Wenqian Zhou and Hanlin Wu},
journal= {arXiv preprint arXiv:2507.22346},
year = {2025}
}
备注
12 pages, 5 figures. Submitted to IEEE Transactions on Geoscience and Remote Sensing (TGRS). Code and dataset are available at https://github.com/hanlinwu/DeltaVLM