选择性机制如何改进自注意力网络
计算与语言
2020-05-05 v1 机器学习
摘要
具有选择性机制的自注意力网络（SANs）通过聚焦于输入词的一个子集，已在多种 NLP 任务中带来显著改进。然而，其优异性能背后的原因尚未得到充分解释。本文通过评估以灵活且通用的 Gumbel-Softmax 实现的选择性 SANs（SSANs）的优势来弥补这一差距。在包括自然语言推理、语义角色标注和机器翻译在内的若干代表性 NLP 任务上的实验结果表明，SSANs 始终优于标准 SANs。通过精心设计的探测实验，我们经验性地验证了 SSANs 的改进可部分归因于缓解了 SANs 两个常被提及的弱点：词序编码与结构建模。具体而言，选择性机制通过更多关注对句子含义有贡献的内容词来改进 SANs。代码与数据发布于 https://github.com/xwgeng/SSAN。
引用
@article{arxiv.2005.00979,
title = {How Does Selective Mechanism Improve Self-Attention Networks?},
author = {Xinwei Geng and Longyue Wang and Xing Wang and Bing Qin and Ting Liu and Zhaopeng Tu},
journal= {arXiv preprint arXiv:2005.00979},
year = {2020}
}
备注
ACL 2020