注意力归一化
计算机视觉与模式识别
2021-03-26 v3
摘要
在最先进的深度神经网络中，特征归一化和特征注意力都已变得无处不在。然而，它们通常作为独立模块被研究。本文中，我们提出两种机制间的轻量级整合，并给出注意力归一化（Attentive Normalization，AN）。AN 不学习单一的仿射变换，而是学习一组仿射变换的混合，并利用其加权和作为最终的仿射变换，以实例特定的方式重新校准特征。权重通过利用通道级特征注意力来学习。在实验中，我们在 ImageNet-1000 分类基准和 MS-COCO 2017 目标检测与实例分割基准中使用四种代表性神经架构测试所提出的 AN。AN 在两个基准中对不同神经架构均获得一致的性能提升，在 ImageNet-1000 中 top-1 准确率绝对提升介于 0.5\% 和 2.7\% 之间，在 MS-COCO 中边界框和掩码 AP 绝对提升分别高达 1.8\% 和 2.2\%。我们观察到所提出的 AN 为广泛使用的 Squeeze-and-Excitation（SE）模块提供了强有力的替代方案。源代码公开于 https://github.com/iVMCL/AOGNet-v2（ImageNet 分类仓库）和 https://github.com/iVMCL/AttentiveNorm_Detection（MS-COCO 检测与分割仓库）。
引用
@article{arxiv.1908.01259,
title = {Attentive Normalization},
author = {Xilai Li and Wei Sun and Tianfu Wu},
journal= {arXiv preprint arXiv:1908.01259},
year = {2021}
}
备注
ECCV2020