自注意力与卷积层之间的关系
机器学习
2020-01-13 v2 计算与语言
计算机视觉与模式识别
机器学习
摘要
近期在视觉中引入注意力机制的趋势使研究者重新考量卷积层作为基本构建块的至上地位。除帮助 CNN 处理长程依赖外，Ramachandran 等人（2019）表明注意力可完全替代卷积并在视觉任务上取得最先进性能。这引出一个问题：学到的注意力层是否与卷积层运作相似？本工作提供证据表明注意力层能够执行卷积，且事实上在实践中常学习如此。具体而言，我们证明具有足够多头数的多头自注意力层至少与任意卷积层同样具表达力。我们的数值实验随后显示，自注意力层对像素网格模式的关注类似于 CNN 层，印证了我们的分析。我们的代码已公开可用。
引用
@article{arxiv.1911.03584,
title = {On the Relationship between Self-Attention and Convolutional Layers},
author = {Jean-Baptiste Cordonnier and Andreas Loukas and Martin Jaggi},
journal= {arXiv preprint arXiv:1911.03584},
year = {2020}
}
备注
To appear at ICLR 2020