面向常识推理的对抗训练
计算与语言
2020-05-19 v1
摘要
我们提出一种用于常识推理的对抗训练算法（ALICE）。我们对词嵌入施加小扰动并最小化由此产生的对抗风险以正则化模型。我们利用了两种不同方法来估计这些扰动的新型组合：1）使用真实标签与 2）使用模型预测。在不依赖任何人工构造特征、知识库或除目标数据集外的额外数据集的情况下，我们的模型提升了 RoBERTa 的微调性能，在多个需要常识推理的阅读理解数据集上取得了有竞争力的结果。
引用
@article{arxiv.2005.08156,
title = {Adversarial Training for Commonsense Inference},
author = {Lis Pereira and Xiaodong Liu and Fei Cheng and Masayuki Asahara and Ichiro Kobayashi},
journal= {arXiv preprint arXiv:2005.08156},
year = {2020}
}
备注
6 pages, Accepted to ACL2020 RepL4NLP workshop