基于像素级变化检测伪标签学习的遥感变化描述
计算机视觉与模式识别
2024-05-22 v2
摘要
现有的遥感图像变化描述（RSICC）方法在简单场景中表现良好，但在复杂场景中性能较差。这一限制主要归因于模型区分和定位变化的视觉能力受限。认识到变化检测（CD）与RSICC任务之间的内在关联，我们认为像素级CD对于通过语言描述图像之间的差异具有重要意义。遗憾的是，当前的RSICC数据集缺乏现成的像素级CD标签。为解决这一不足，我们利用在现有CD数据集上训练的模型来推导CD伪标签。我们提出了一种带有辅助CD分支的创新网络，由伪标签监督。此外，还提出了语义融合增强（SFA）模块，用于融合CD分支提取的特征信息，从而促进对变化的细致描述。实验表明，我们的方法达到了最先进的性能，并验证了学习像素级CD伪标签对变化描述有显著贡献。我们的代码将在 https://github.com/Chen-Yang-Liu/Pix4Cap 提供。
引用
@article{arxiv.2312.15311,
title = {Pixel-Level Change Detection Pseudo-Label Learning for Remote Sensing Change Captioning},
author = {Chenyang Liu and Keyan Chen and Zipeng Qi and Haotian Zhang and Zhengxia Zou and Zhenwei Shi},
journal= {arXiv preprint arXiv:2312.15311},
year = {2024}
}