A3Net：用于机器阅读的对抗与注意力网络
计算与语言
2018-09-05 v1
摘要
本文中，我们引入用于机器阅读理解的对抗与注意力网络(A3Net)。该模型从两个角度扩展现有方法。首先，对抗训练被应用于模型内的若干目标变量，而非仅应用于输入或嵌入。我们根据原始目标变量的范数控制对抗扰动的范数，从而可以在训练期间联合向多个目标变量添加扰动。作为一种有效的正则化方法，对抗训练提升了我们模型的鲁棒性和泛化能力。其次，我们提出了一种利用三种高效注意力机制的多层注意力网络。多层注意力在每一层内执行问题与文章之间的交互，有助于模型的合理表示与理解。结合这两方面贡献，我们同时增强了数据集的多样性和模型的信息提取能力。同时，我们针对WebQA数据集构建了A3Net。结果表明我们的模型优于SOTA模型(将模糊分数从73.50%提升至77.0%)。
引用
@article{arxiv.1809.00676,
title = {A3Net: Adversarial-and-Attention Network for Machine Reading Comprehension},
author = {Jiuniu Wang and Xingyu Fu and Guangluan Xu and Yirong Wu and Ziyan Chen and Yang Wei and Li Jin},
journal= {arXiv preprint arXiv:1809.00676},
year = {2018}
}
备注
NLPCC2018, 12 pages