高效注意力网络：通过搜索插入位置加速注意力
计算机视觉与模式识别
2021-07-13 v2 人工智能
机器学习
摘要
近来，许多即插即用自注意力模块被提出，通过挖掘深度卷积神经网络（CNNs）的内部信息来增强模型泛化能力。以往工作侧重于针对特定功能设计注意力模块，例如轻量型或面向任务的注意力。然而，它们忽视了注意力模块插入位置的重要性，因为它们想当然地将模块分别与整个CNN主干的每一个块连接，导致随着网络深度增长带来计算成本和参数量的递增。因此，我们提出一种称为高效注意力网络（EAN）的框架，以提升现有注意力模块的效率。在EAN中，我们利用共享机制（Huang et al. 2020）在主干内共享注意力模块，并通过强化学习搜索连接该共享注意力模块的位置。最终，我们得到主干与模块间具有稀疏连接的注意力网络，同时（1）保持精度（2）减少额外参数增量（3）加速推理。在常用基准和流行注意力网络上的大量实验显示了EAN的有效性。此外，我们经验性地说明我们的EAN具有迁移到其他任务以及捕获信息性特征的能力。代码见 https://github.com/gbup-group/EAN-efficient-attention-network。
引用
@article{arxiv.2011.14058,
title = {Efficient Attention Network: Accelerate Attention by Searching Where to Plug},
author = {Zhongzhan Huang and Senwei Liang and Mingfu Liang and Wei He and Haizhao Yang},
journal= {arXiv preprint arXiv:2011.14058},
year = {2021}
}