变化到描述：一种用于遥感变化描述的注意力网络
计算机视觉与模式识别
2023-10-27 v2 人工智能
摘要
近年来，前沿研究聚焦于利用自然语言处理（NLP）技术直接学习与分析遥感影像。准确描述多时相遥感影像中发生的变化，对地理空间理解与土地规划愈发重要。与自然影像变化描述任务不同，遥感变化描述旨在捕捉最显著的变化，而不受光照、季节效应及复杂地表覆盖等多种影响因素干扰。本研究中，我们强调准确描述遥感影像变化的重要性，并对比自然与合成影像及遥感影像的变化描述任务。为应对生成准确描述的挑战，我们提出一种用于双时相遥感影像的注意力变化到描述网络，简称Chg2Cap。该网络包含三个主要组件：1）基于孪生CNN的特征提取器，用于获取每对影像的高层表示；2）包含分层自注意力块以定位变化相关特征、以及残差块以生成影像嵌入的注意力解码器；3）基于Transformer的描述生成器，将影像嵌入与词嵌入间的关系解码为描述。所提Chg2Cap网络在两个代表性遥感数据集上评估，并给出了全面的实验分析。代码与预训练模型将发布于 https://github.com/ShizhenChang/Chg2Cap。
引用
@article{arxiv.2304.01091,
title = {Changes to Captions: An Attentive Network for Remote Sensing Change Captioning},
author = {Shizhen Chang and Pedram Ghamisi},
journal= {arXiv preprint arXiv:2304.01091},
year = {2023}
}