面向自然语言理解的有针对性对抗训练
计算与语言
2021-04-14 v1
摘要
我们提出了一种简单而有效的有针对性对抗训练（Targeted Adversarial Training, TAT）算法，以改进自然语言理解中的对抗训练。其核心思想是审视当前错误，并优先在模型出错最多的地方进行对抗训练步骤。实验表明，TAT 在 GLUE 上相比标准对抗训练能显著提升准确率，并在 XNLI 上取得新的最先进的零样本结果。我们的代码将发布于：https://github.com/namisan/mt-dnn。
引用
@article{arxiv.2104.05847,
title = {Targeted Adversarial Training for Natural Language Understanding},
author = {Lis Pereira and Xiaodong Liu and Hao Cheng and Hoifung Poon and Jianfeng Gao and Ichiro Kobayashi},
journal= {arXiv preprint arXiv:2104.05847},
year = {2021}
}
备注
9 pages, 4 tables, 3 figurers, NAACL 2021