NOAH：学习用于图像分类的成对对象类别注意力
摘要
用于图像分类任务的现代深度神经网络（DNN）通常由两部分组成：用于特征提取的主干网络和用于特征编码与类别预测的头结构。我们观察到，主流 DNN 的头结构采用相似的特征编码流程，利用全局特征依赖关系而忽略了局部依赖关系。在本文中，我们重新审视特征编码问题，并提出非全局注意力头，它依赖于一种称为成对对象类别注意力（POCA）的新型点积注意力，有效利用空间密集的特定类别注意力来增强分类性能。NOAH 引入了特征分割、变换和合并操作的简洁组合，以在局部到全局尺度上学习 POCA。作为一种即插即用的设计，NOAH 可以轻松替换各种类型 DNN 的现有头结构，在保持相似模型效率的同时提高分类性能。我们在 ImageNet 分类基准上验证了 NOAH 的有效性，涵盖了 25 种 DNN 架构，包括卷积神经网络、视觉 Transformer 和多层感知机。总体而言，NOAH 能够显著提高轻量级 DNN 的性能，例如，对 MobileNetV2 (0.5x)|Deit-Tiny (0.5x)|gMLP-Tiny (0.5x) 分别实现了 3.14%|5.3%|1.9% 的 top-1 准确率提升。当应用于中型和大型 DNN 时，NOAH 也表现出良好的泛化能力。我们进一步表明，NOAH 在其他流行的多类和多标签图像分类基准以及不同的训练机制中同样保持有效性，例如，在 MS-COCO 数据集上对大型 ResNet101|ViT-Large 分别实现了 3.6%|1.1% 的 mAP 提升。项目页面：https://github.com/OSVAI/NOAH。
关键词
引用
@article{arxiv.2402.02377,
title = {NOAH: Learning Pairwise Object Category Attentions for Image Classification},
author = {Chao Li and Aojun Zhou and Anbang Yao},
journal= {arXiv preprint arXiv:2402.02377},
year = {2024}
}
备注
This research work was completed in 2023. Code and pre-trained models are available at https://github.com/OSVAI/NOAH