自注意力网络学习词序能力评估
计算与语言
2019-06-04 v1 人工智能
摘要
自注意力网络（SAN）因其在机器翻译等多种 NLP 任务上的高并行性与强劲表现而备受关注。由于缺乏循环神经网络（RNN）之类的递归结构，SAN 被认为在序列建模中学习词的位置信息方面较弱。然而，这一推测既未得到实证确认，也未对它们在“缺乏位置信息”时于机器翻译任务上表现强劲的原因进行探究。为此，我们提出了一种新颖的词重排检测任务，以量化 SAN 与 RNN 学习词序信息的程度。具体而言，我们随机将一词移至另一位置，并检验训练好的模型能否检测出原位置与插入位置。实验结果表明：1）即便使用位置嵌入，在词重排检测上训练的 SAN 确实难以学习位置信息；2）在机器翻译上训练的 SAN 比其 RNN 对应模型学习到更好的位置信息，其中位置嵌入起着关键作用。尽管递归结构使模型在学习词序上更具普适有效性，但在机器翻译等下游任务中，学习目标更为重要。
引用
@article{arxiv.1906.00592,
title = {Assessing the Ability of Self-Attention Networks to Learn Word Order},
author = {Baosong Yang and Longyue Wang and Derek F. Wong and Lidia S. Chao and Zhaopeng Tu},
journal= {arXiv preprint arXiv:1906.00592},
year = {2019}
}
备注
ACL 2019