基于虚拟嵌入的机器阅读理解对抗训练
计算与语言
2021-11-29 v1
摘要
对抗训练（AT）作为一种正则化方法已在各种任务上证明其有效性。尽管 AT 在一些 NLP 任务上有成功应用，但 NLP 任务的区分性特征尚未被利用。本文中，我们旨在将 AT 应用于机器阅读理解（MRC）任务。此外，我们通过对 AT 进行适配用于 MRC 任务，提出一种称为 PQAT 的新型对抗训练方法，该方法扰动嵌入矩阵而非词向量。为区分篇章与问题的角色，PQAT 使用额外的虚拟 P/Q 嵌入矩阵分别收集来自篇章和问题中词语的全局扰动。我们在广泛的 MRC 任务上测试该方法，包括基于跨度的抽取式 RC 和多项选择 RC。结果显示对抗训练具有普遍有效性，且 PQAT 进一步提升了性能。
引用
@article{arxiv.2106.04437,
title = {Adversarial Training for Machine Reading Comprehension with Virtual Embeddings},
author = {Ziqing Yang and Yiming Cui and Chenglei Si and Wanxiang Che and Ting Liu and Shijin Wang and Guoping Hu},
journal= {arXiv preprint arXiv:2106.04437},
year = {2021}
}
备注
Accepted to *SEM 2021 workshop at ACL 2021