深度网络中空间注意力机制的实证研究
计算机视觉与模式识别
2019-04-15 v1 计算与语言
机器学习
摘要
注意力机制已成为深度神经网络中的一个流行组件，然而对于不同的影响因素以及从这些因素计算注意力的方法如何影响性能，却鲜有研究。为了更好地全面理解注意力机制，我们提出了一项实证研究，在一个广义注意力公式中消融各种空间注意力元素，涵盖了主流的 Transformer 注意力以及常见的可变形卷积和动态卷积模块。该研究在多种应用上进行，得出了关于深度网络中空间注意力的重要发现，其中一些与传统的理解相悖。例如，我们发现 Transformer 注意力中的查询与键内容比较对于自注意力可以忽略不计，但对于编码器-解码器注意力却至关重要。将可变形卷积与仅包含键内容的显著性进行适当组合，在自注意力中实现了最佳的准确率-效率权衡。我们的结果表明，注意力机制的设计仍有很大的改进空间。
关键词
引用
@article{arxiv.1904.05873,
title = {An Empirical Study of Spatial Attention Mechanisms in Deep Networks},
author = {Xizhou Zhu and Dazhi Cheng and Zheng Zhang and Stephen Lin and Jifeng Dai},
journal= {arXiv preprint arXiv:1904.05873},
year = {2019}
}