通过对抗训练改进机器阅读理解
计算与语言
2019-11-12 v1 机器学习
神经与进化计算
摘要
对抗训练（AT）作为一种正则化方法，已在图像分类与文本分类等多种任务中证明其有效性。尽管 AT 在自然语言处理（NLP）的诸多任务中有成功应用，其背后机制仍不清楚。本文旨在将 AT 应用于机器阅读理解（MRC），并从多个视角研究其效果。我们对三种不同类型的阅读理解任务进行实验：基于跨度的 RC、含不可回答问题基于跨度的 RC 以及多选 RC。实验结果表明，所提方法能在 SQuAD1.1、SQuAD2.0 与 RACE 上显著且普遍地提升性能。利用虚拟对抗训练（VAT），我们探索了通过半监督学习改进 RC 模型的可能性，并证明来自不同任务的样本同样有益。我们还发现 AT 在防御人工对抗样本方面帮助甚微，但 AT 有助于模型在含更多低频词的样本上学习得更好。
引用
@article{arxiv.1911.03614,
title = {Improving Machine Reading Comprehension via Adversarial Training},
author = {Ziqing Yang and Yiming Cui and Wanxiang Che and Ting Liu and Shijin Wang and Guoping Hu},
journal= {arXiv preprint arXiv:1911.03614},
year = {2019}
}