面向开集细粒度图像识别的时空注意力网络
计算机视觉与模式识别
2022-11-28 v1
摘要
受Transformer在各种视觉任务中成功的启发，空间自注意力机制近来在计算机视觉界吸引了越来越多的关注。然而，我们通过实验发现，典型的带空间自注意力机制的视觉Transformer无法学习到准确的注意力图以区分不同类别的细粒度图像。为解决此问题，受大脑中时间注意力机制的启发，我们提出一种用于学习细粒度特征表示的时空注意力网络，称为STAN，其中通过执行对应于多个时刻的一系列空间自注意力操作所学习的特征被逐步聚合。所提STAN由四个模块组成：用于通过自注意力操作学习特征序列的自注意力骨干模块、用于促进模型训练的空间特征自组织模块、用于通过长短期记忆(Long Short-Term Memory)网络聚合重组织特征的时空特征学习模块，以及作为时空特征学习模块的遗忘块实现、利用上下文信息保留/遗忘长期记忆的上下文感知模块。随后，我们将所提STAN网络与线性分类器相集成，提出一种基于STAN的开集细粒度识别方法，称为STAN-OSFGR。在3个细粒度数据集和2个粗粒度数据集上的大量实验结果表明，所提STAN-OSFGR在大多数情况下显著优于9种最先进(state-of-the-art)的开集识别方法。
引用
@article{arxiv.2211.13940,
title = {Spatial-Temporal Attention Network for Open-Set Fine-Grained Image Recognition},
author = {Jiayin Sun and Hong Wang and Qiulei Dong},
journal= {arXiv preprint arXiv:2211.13940},
year = {2022}
}