CDChat：用于遥感变化描述的大型多模态模型
计算机视觉与模式识别
2024-09-25 v1
摘要
大型多模态模型（LMM）在自然图像领域通过视觉指令微调展现出了令人鼓舞的性能。然而，这些 LMM 难以描述遥感图像的内容，无法完成图像或区域定位、分类等任务。近期，GeoChat 尝试描述遥感图像的内容。尽管 GeoChat 在各种遥感任务中取得了有前景的性能，但它难以描述双时相遥感图像之间的变化，而这是一项关键的遥感任务。这促使我们需要开发一种能够描述双时相遥感图像之间变化的 LMM。然而，目前缺乏可用于微调 LMM 的数据集。为了实现这一目标，我们引入了一个变化描述指令数据集，可用于微调 LMM 并为遥感图像提供更好的变化描述。此外，我们表明，对 LLaVA-1.5 模型进行轻微修改后，即可在该变化描述指令数据集上进行微调，并取得显著更优的性能。
引用
@article{arxiv.2409.16261,
title = {CDChat: A Large Multimodal Model for Remote Sensing Change Description},
author = {Mubashir Noman and Noor Ahsan and Muzammal Naseer and Hisham Cholakkal and Rao Muhammad Anwer and Salman Khan and Fahad Shahbaz Khan},
journal= {arXiv preprint arXiv:2409.16261},
year = {2024}
}