FreeLB：用于自然语言理解的增强对抗训练
计算与语言
2020-04-24 v5 机器学习
摘要
对抗训练通过最小化保留标签的输入扰动下的最大风险，已被证明可有效提升语言模型的泛化能力。本工作中，我们提出一种新颖的对抗训练算法FreeLB，通过对词嵌入添加对抗扰动并在输入样本周围不同区域内最小化由此产生的对抗风险，从而在嵌入空间中促进更高的不变性。为验证所提方法的有效性，我们将其应用于基于Transformer的模型以处理自然语言理解与常识推理任务。GLUE基准上的实验表明，仅应用于微调阶段时，它能够将BERT-base模型的总体测试分数从78.3提升至79.4，将RoBERTa-large模型从88.5提升至88.8。此外，所提方法在ARC-Easy和ARC-Challenge上取得了85.44%和67.75%的最先进单模型测试准确率。CommonsenseQA基准上的实验进一步证明FreeLB可泛化并提升RoBERTa-large模型在其他任务上的性能。代码可在 https://github.com/zhuchen03/FreeLB 获取。
引用
@article{arxiv.1909.11764,
title = {FreeLB: Enhanced Adversarial Training for Natural Language Understanding},
author = {Chen Zhu and Yu Cheng and Zhe Gan and Siqi Sun and Tom Goldstein and Jingjing Liu},
journal= {arXiv preprint arXiv:1909.11764},
year = {2020}
}
备注
Adding results with ALBERT