基于对抗训练的鲁棒机器阅读理解模型
计算与语言
2018-04-19 v1
摘要
研究表明，许多已发表的斯坦福问答数据集(Stanford Question Answering Dataset, Rajpurkar et al., 2016)模型缺乏鲁棒性，在基于AddSent(Jia and Liang, 2017)算法的对抗评估中F1分数下降超过50%。研究还表明，在AddSent生成的数据上重新训练模型对其鲁棒性影响有限。我们提出了一种新颖的替代对抗样本生成算法AddSentDiverse，它通过提供惩罚模型做出某些表面假设的有效的样本，显著增加了对抗训练数据内的方差。此外，为了提高对AddSent语义扰动(例如反义词)的鲁棒性，除了我们基于AddSentDiverse的对抗训练数据增强之外，我们还联合改进了模型的语义关系学习能力。通过这些补充，我们展示可以使一个最先进(state-of-the-art, SOTA)的模型显著更鲁棒，在许多不同类型的对抗评估下F1分数提高36.5%，同时在常规SQuAD任务上保持性能。
引用
@article{arxiv.1804.06473,
title = {Robust Machine Comprehension Models via Adversarial Training},
author = {Yicheng Wang and Mohit Bansal},
journal= {arXiv preprint arXiv:1804.06473},
year = {2018}
}
备注
NAACL 2018 (7 pages)