在卷积与双向LSTM混合网络中递归探索类注意力的多标签航拍图像分类
计算机视觉与模式识别
2019-12-18 v2
摘要
航拍图像分类在遥感领域具有重要意义,过去几年已开展诸多研究。其中多数研究聚焦于将一幅图像分类为单一语义标签,而在现实世界中,一幅航拍图像常关联多个标签,例如本文中的多个对象级标签。此外,对给定高分辨率航拍图像中现有物体的全面刻画可加深对研究区域的理解。出于这些原因,航拍图像多标签分类正受到越来越多的关注。然而,该领域现有方法的一个共同局限是,各类别共现关系(即类依赖)未被充分挖掘,导致决策不够周全。本文提出一种新颖的端到端网络,即基于类注意力的卷积与双向LSTM网络(CA-Conv-BiLSTM),用于该任务。所提网络由三个不可或缺的组件构成:1)特征提取模块,2)类注意力学习层,3)基于双向LSTM的子网络。特别地,特征提取模块用于提取细粒度语义特征图,而类注意力学习层旨在捕获有判别力的类特定特征。作为最重要的部分,基于双向LSTM的子网络在两个方向上对潜在类依赖建模并生成结构化的多对象标签。在UCM多标签数据集和DFC15多标签数据集上的实验结果从定量与定性角度验证了模型的有效性。
引用
@article{arxiv.1807.11245,
title = {Recurrently Exploring Class-wise Attention in A Hybrid Convolutional and Bidirectional LSTM Network for Multi-label Aerial Image Classification},
author = {Yuansheng Hua and Lichao Mou and Xiao Xiang Zhu},
journal= {arXiv preprint arXiv:1807.11245},
year = {2019}
}