卷积自注意力网络
计算与语言
2019-04-09 v2
摘要
自注意力网络（SAN）近年来因其完全并行化计算以及在建模依赖关系上的灵活性而受到越来越多的关注。通过允许模型在不同位置联合关注来自不同表示子空间的信息（Vaswani et al., 2017），多头注意力机制可进一步增强该网络。在本工作中，我们提出了一种新颖的卷积自注意力网络（CSAN），它赋予 SAN 两种能力：1）捕捉邻近依赖关系，以及 2）建模多个注意力头之间的交互。在 WMT14 英德翻译任务上的实验结果表明，所提出的方法优于强大的 Transformer 基线以及其他已有的增强 SAN 局部性的工作。与先前工作相比，我们的模型不引入任何新参数。
引用
@article{arxiv.1810.13320,
title = {Convolutional Self-Attention Network},
author = {Baosong Yang and Longyue Wang and Derek F. Wong and Lidia S. Chao and Zhaopeng Tu},
journal= {arXiv preprint arXiv:1810.13320},
year = {2019}
}
备注
The least version of this paper has been uploaded to another link: arXiv:1904.03107