一种用于多标签遥感图像分类的新型多注意力驱动系统
计算机视觉与模式识别
2019-11-26 v3
摘要
本文提出一种新颖的多注意力驱动系统，在多标签遥感（RS）图像分类中联合利用卷积神经网络（CNN）与循环神经网络（RNN）。所提系统由四个主要模块组成。第一个模块旨在提取可与不同空间分辨率相关联的 RS 图像波段的初步局部描述子。为此，我们引入了一种 K 分支 CNN，其中每个分支提取具有相同空间分辨率的图像波段的描述子。第二个模块旨在建模局部描述子间的空间关系。这通过双向 RNN 架构实现，其中长短期记忆节点通过考虑局部区域（图像块）的空间关系来丰富局部描述子。第三个模块旨在为局部描述子定义多个注意力分数。这通过一种新颖的基于块的多注意力机制实现，该机制考虑多类地物覆盖的联合出现并提供基于注意力的局部描述子。最后一个模块利用这些描述子进行多标签 RS 图像分类。在大规模 Sentinel-2 基准档案 BigEarthNet 上获得的实验结果表明，与一种最先进的方法相比，所提方法有效。
引用
@article{arxiv.1902.11274,
title = {A Novel Multi-Attention Driven System For Multi-Label Remote Sensing Image Classification},
author = {Gencer Sumbul and Begüm Demir},
journal= {arXiv preprint arXiv:1902.11274},
year = {2019}
}
备注
Accepted at IEEE International Geoscience and Remote Sensing Symposium (IGARSS) 2019