为自注意力网络建模局部性
计算与语言
2018-10-25 v1 人工智能
摘要
自注意力网络已因其捕捉全局依赖的能力而被证明具有深远价值。本工作中，我们提出为自注意力网络建模局部性，以增强捕捉有用局部上下文的能力。我们将局部性建模为一个可学习的高斯偏置，其指示应更多关注的局部区域中心与范围。该偏置随后被并入原始注意力分布以形成修正后的分布。为保持捕捉长距离依赖的能力并增强捕捉短程依赖的能力，我们仅对自注意力网络的较低层应用局部性建模。在中英与英德翻译任务上的定量与定性分析证明了所提方法的有效性与通用性。
引用
@article{arxiv.1810.10182,
title = {Modeling Localness for Self-Attention Networks},
author = {Baosong Yang and Zhaopeng Tu and Derek F. Wong and Fandong Meng and Lidia S. Chao and Tong Zhang},
journal= {arXiv preprint arXiv:1810.10182},
year = {2018}
}
备注
EMNLP 2018