ChangeChat：基于多模态指令微调的遥感变化分析交互模型
计算机视觉与模式识别
2024-09-16 v1
摘要
遥感（RS）变化分析通过检测随时间变化的图像来监测地球的动态过程，至关重要。传统的变化检测擅长识别像素级变化，但缺乏将这些变化置于上下文中理解的能力。尽管最近在变化描述方面的进展提供了关于变化的自然语言描述，但它们不支持交互式的、特定于用户的查询。为了解决这些局限性，我们引入了 ChangeChat，这是首个专门为遥感变化分析设计的双时相视觉语言模型（VLM）。ChangeChat 利用多模态指令微调，使其能够处理复杂查询，如变化描述、特定类别的量化和变化定位。为了提升模型性能，我们开发了 ChangeChat-87k 数据集，该数据集是结合基于规则的方法和 GPT 辅助技术生成的。实验表明，ChangeChat 为遥感变化分析提供了一个全面的交互式解决方案，在特定任务上取得了与现有技术（SOTA）相当甚至更好的性能，并显著超越了最新的通用领域模型 GPT-4。代码和预训练权重可在 https://github.com/hanlinwu/ChangeChat 获取。
引用
@article{arxiv.2409.08582,
title = {ChangeChat: An Interactive Model for Remote Sensing Change Analysis via Multimodal Instruction Tuning},
author = {Pei Deng and Wenqian Zhou and Hanlin Wu},
journal= {arXiv preprint arXiv:2409.08582},
year = {2024}
}
备注
5 pages, 2 figures