增强遥感图像变更标题描述中的关键变化感知
计算机视觉与模式识别
2024-09-20 v1
摘要
最近，在遥感图像变更标题描述方面取得了显著进展，但现有方法无法过滤与实际变更无关的区域，使模型易受无关特征的影响。本文提出一种新型多模态框架用于遥感图像变更标题描述，由关键变更特征和指令调校（KCFI）驱动。该框架旨在通过视觉指令充分利用大型语言模型的内在知识，并提高变更特征的有效性和准确性。具体而言，KCFI包括用于提取双时遥感图像特征的ViTs 编码器、用于识别关键变更区域的关键特征感知器、用于约束关键变更特征的像素级变更检测解码器，以及基于大型语言模型的指令调校解码器。此外，为确保变更描述和变更检测任务联合优化，我们采用动态权重平均策略平衡两种任务的损失。我们也探索了各种特征组合用于视觉细调指令，结果表明仅使用关键变更特征指导大型语言模型是最佳选择。为验证我们方法的有效性，我们将其与 LEVIR-CC 数据集上的几种最先进的变更标题方法进行比较，实现了最佳性能。我们的代码将在 https://github.com/yangcong356/KCFI.git 上提供。
引用
@article{arxiv.2409.12612,
title = {Enhancing Perception of Key Changes in Remote Sensing Image Change Captioning},
author = {Cong Yang and Zuchao Li and Hongzan Jiao and Zhi Gao and Lefei Zhang},
journal= {arXiv preprint arXiv:2409.12612},
year = {2024}
}