多结构先验引导的自注意力网络用于语言理解
计算与语言
2021-01-01 v1
摘要
自注意力网络(SANs)已在近期的NLP研究中被广泛使用。与CNNs或RNNs不同，标准SANs通常是位置无关的，因此无法捕获词序列之间的结构先验。现有研究通常对SANs应用单一掩码策略以引入结构先验，却未能对文本更丰富的结构信息进行建模。在本文中，我们旨在将多种类型的结构先验引入SAN模型，提出多结构先验引导的自注意力网络(MS-SAN)，其通过使用一种新颖的基于多掩码的多头注意力机制将不同结构先验转化为不同注意力头。特别地，我们整合了两类结构先验，包括词的顺序和相对位置。为捕获文本的潜在层次结构，我们不仅从词上下文而且从依存句法树中提取这些信息。在两个任务上的实验结果表明，MS-SAN相对于其他强基线取得了显著改进。
引用
@article{arxiv.2012.14642,
title = {Multiple Structural Priors Guided Self Attention Network for Language Understanding},
author = {Le Qi and Yu Zhang and Qingyu Yin and Ting Liu},
journal= {arXiv preprint arXiv:2012.14642},
year = {2021}
}