Change-Agent：迈向交互式综合遥感变化解释与分析
计算机视觉与模式识别
2024-07-17 v3
摘要
监测地球表面的变化对于理解自然过程和人类影响至关重要，需要精确且综合的解释方法。遥感卫星图像为监测这些变化提供了独特的视角，促使遥感图像变化解释（RSICI）成为一个重要的研究热点。当前的 RSICI 技术包含变化检测和变化描述，两者在提供综合解释方面各有局限。为了解决这一问题，我们提出了一种交互式 Change-Agent，它可以遵循用户指令实现综合变化解释和深入分析，例如变化检测和变化描述、变化目标计数、变化原因分析等。Change-Agent 集成了作为眼睛的多层次变化解释（MCI）模型和作为大脑的大型语言模型（LLM）。MCI 模型包含像素级变化检测和语义级变化描述两个分支，其中提出了双时相迭代交互（BI3）层以增强模型的判别性特征表示能力。为了支持 MCI 模型的训练，我们构建了包含大量变化掩码和变化描述的 LEVIR-MCI 数据集。实验证明了 MCI 模型在同时实现变化检测和变化描述方面的 SOTA 性能，并突出了我们的 Change-Agent 在促进地表变化综合解释方面的广阔应用价值，这为智能遥感应用开辟了新途径。为了促进未来的研究，我们将在 https://github.com/Chen-Yang-Liu/Change-Agent 公开我们的数据集以及 MCI 模型和 Change-Agent 的代码库
引用
@article{arxiv.2403.19646,
title = {Change-Agent: Towards Interactive Comprehensive Remote Sensing Change Interpretation and Analysis},
author = {Chenyang Liu and Keyan Chen and Haotian Zhang and Zipeng Qi and Zhengxia Zou and Zhenwei Shi},
journal= {arXiv preprint arXiv:2403.19646},
year = {2024}
}
备注
IEEE Transactions on Geoscience and Remote Sensing 2024