卷积神经网络中自注意力的彩票假设
计算机视觉与模式识别
2022-07-19 v1 人工智能
机器学习
摘要
近来许多即插即用自注意力模块(SAMs)被提出,以利用深度卷积神经网络(CNNs)的内部信息来增强模型泛化能力。一般而言,先前工作忽视了应将 SAMs 插入何处,因为它们想当然地将 SAMs 与整个 CNN 主干的每一个块单独连接,导致随着网络深度增加计算成本和参数量递增。然而,我们通过实验发现并验证了若干反直觉现象:(a) 将 SAMs 连接到所有块未必总能带来最大性能提升,而连接到部分块反而更好;(b) 向 CNN 添加 SAMs 未必总能带来性能提升,反而甚至可能损害原始 CNN 主干的性能。因此,我们提出并证明了自注意力网络的彩票假设(Lottery Ticket Hypothesis for Self-attention Networks):一个完整的自注意力网络包含一个具有稀疏自注意力连接的子网络,能够(1) 加速推理,(2) 减少额外参数增量,以及(3) 保持精度。除经验证据外,该假设亦得到我们理论证据的支持。此外,我们提出一种简单而有效的基于强化学习的方法来搜索该彩票,即满足上述三个条件的连接方案。在广泛使用的基准数据集与流行自注意力网络上的大量实验表明了方法的有效性。此外,我们的实验说明所搜索到的彩票具有迁移到若干视觉任务(如人群计数与分割)的能力。
引用
@article{arxiv.2207.07858,
title = {The Lottery Ticket Hypothesis for Self-attention in Convolutional Neural Network},
author = {Zhongzhan Huang and Senwei Liang and Mingfu Liang and Wei He and Haizhao Yang and Liang Lin},
journal= {arXiv preprint arXiv:2207.07858},
year = {2022}
}
备注
Technical report. arXiv admin note: text overlap with arXiv:2011.14058