CCExpert：基于差异感知集成与基础数据集提升多模态大语言模型在遥感变化描述中的能力
计算机视觉与模式识别
2024-11-19 v1
摘要
遥感图像变化描述（RSICC）旨在生成多时相遥感图像之间地表变化的自然语言描述，详细说明变化对象的类别、位置和动态（例如增加或消失）。许多现有方法试图利用多模态大语言模型（MLLMs）的长序列理解和推理能力来完成此任务。然而，在缺乏全面数据支持的情况下，这些方法通常会改变 MLLMs 的核心特征传输路径，破坏模型内的固有知识，并限制了其在 RSICC 中的潜力。在本文中，我们基于一种新型先进的多模态大模型框架提出了一种新模型 CCExpert。首先，我们设计了一个差异感知集成模块，以捕获双时相图像之间的多尺度差异并将其融入原始图像上下文，从而提高差异特征的信噪比。其次，我们构建了一个高质量、多样化的数据集 CC-Foundation，包含 20 万对图像和 120 万条描述，为该领域的持续预训练提供充足的数据支持。最后，我们采用三阶段渐进式训练过程，以确保差异感知集成模块与预训练 MLLM 的深度融合。CCExpert 在 LEVIR-CC 基准上取得了 的显著性能，大幅超越了以往的最先进方法。代码及部分数据集即将在 https://github.com/Meize0729/CCExpert 开源。
引用
@article{arxiv.2411.11360,
title = {CCExpert: Advancing MLLM Capability in Remote Sensing Change Captioning with Difference-Aware Integration and a Foundational Dataset},
author = {Zhiming Wang and Mingze Wang and Sheng Xu and Yanjing Li and Baochang Zhang},
journal= {arXiv preprint arXiv:2411.11360},
year = {2024}
}