Diffusion-RSCC：遥感图像变化字幕的扩散概率模型
计算机视觉与模式识别
2024-05-22 v1 计算与语言
摘要
遥感图像变化字幕（RSICC）旨在生成类人语言来描述双时相遥感图像对之间的语义变化。它为环境动态和土地管理提供了宝贵的见解。与传统的变更字幕任务不同，RSICC不仅涉及跨不同模态检索相关信息并生成流畅的字幕，还涉及减轻像素级差异对地形变化定位的影响。由于长时间跨度导致的像素问题降低了生成字幕的准确性。受扩散模型卓越生成能力的启发，我们提出了一种用于RSICC的概率扩散模型来解决上述问题。在训练过程中，我们构建了一个以跨模态特征为条件的噪声预测器，以学习在马尔可夫链下从真实字幕分布到标准高斯分布的分布。同时，在逆过程中为噪声预测器设计了跨模态融合和堆叠自注意力模块。在测试阶段，训练好的噪声预测器有助于估计分布的均值并逐步生成变化字幕。在LEVIR-CC数据集上的大量实验证明了我们的Diffusion-RSCC及其各个组件的有效性。定量结果显示，在传统和新增强的指标上，性能均优于现有方法。代码和材料将在https://github.com/Fay-Y/Diffusion-RSCC上提供。
引用
@article{arxiv.2405.12875,
title = {Diffusion-RSCC: Diffusion Probabilistic Model for Change Captioning in Remote Sensing Images},
author = {Xiaofei Yu and Yitong Li and Jie Ma},
journal= {arXiv preprint arXiv:2405.12875},
year = {2024}
}