用于多标签遥感图像分类的语义交错全局通道注意力
计算机视觉与模式识别
2023-01-03 v2
摘要
多标签遥感图像分类（MLRSIC）受到越来越多的研究关注。将多个标签的共现关系作为附加信息有助于提升该任务的性能。现有方法侧重于利用它来约束卷积神经网络（CNN）的最终特征输出。一方面，这些方法未充分利用标签相关性来形成特征表示；另一方面，它们增加了系统的标签噪声敏感性，导致鲁棒性差。本文提出一种用于MLRSIC的新方法——语义交错全局通道注意力（SIGNA）。首先，根据数据集的统计信息获得标签共现图。将标签共现图作为图神经网络（GNN）的输入以生成最优特征表示。然后，将语义特征与视觉特征交错，以引导图像的特征表达从原始特征空间转向嵌入了标签关系的语义特征空间。SIGNA在新的语义特征空间中触发特征图通道的全局注意力，以提取更重要的视觉特征。提出了基于多头SIGNA的特征自适应加权网络，以即插即用的方式作用于CNN的任意层。对于遥感图像，通过将CNN插入浅层可获得更好的分类性能。我们在UCM数据集、AID数据集和DFC15数据集三个数据集上进行了广泛的实验对比。实验结果表明，所提出的SIGNA相比最先进（SOTA）方法取得了更优的分类性能。值得一提的是，本文代码将向社区开放以支持可复现研究。我们的代码见 https://github.com/kyle-one/SIGNA。
引用
@article{arxiv.2208.02613,
title = {Semantic Interleaving Global Channel Attention for Multilabel Remote Sensing Image Classification},
author = {Yongkun Liu and Kesong Ni and Yuhan Zhang and Lijian Zhou and Kun Zhao},
journal= {arXiv preprint arXiv:2208.02613},
year = {2023}
}
备注
14 pages, 13 figures