一种用于遥感图像变化描述的轻量级稀疏聚焦Transformer
计算机视觉与模式识别
2024-10-14 v2
摘要
遥感图像变化描述（RSICC）旨在自动生成描述遥感双时相图像中内容差异的句子。近年来，基于注意力的Transformer已成为捕获全局变化特征的流行思路。然而，现有的基于Transformer的RSICC方法面临挑战，例如，由Transformer编码器组件中的自注意力操作导致的高参数量和高计算复杂度。为了缓解这些问题，本文为RSICC任务提出了一种稀疏聚焦Transformer（SFT）。具体来说，SFT网络由三个主要组件构成，即基于卷积神经网络（CNN）的高层特征提取器、旨在定位和捕获双时相图像中变化区域的基于稀疏聚焦注意力机制的Transformer编码器网络，以及一个嵌入图像和单词以生成描述差异句子的描述解码器。所提出的SFT网络通过在Transformer编码器网络中引入稀疏注意力机制，能够减少参数量和计算复杂度。在各种数据集上的实验结果表明，即使Transformer编码器的参数量和计算复杂度减少超过90%，我们提出的网络仍能获得与其他最先进的RSICC方法相比具有竞争力的性能。代码可在\href{https://github.com/sundongwei/SFT_chag2cap}{Lite\_Chag2cap}获取。
引用
@article{arxiv.2405.06598,
title = {A Lightweight Sparse Focus Transformer for Remote Sensing Image Change Captioning},
author = {Dongwei Sun and Yajie Bao and Junmin Liu and Xiangyong Cao},
journal= {arXiv preprint arXiv:2405.06598},
year = {2024}
}