TAVAT：用于语言理解的词元感知虚拟对抗训练
计算与语言
2020-12-07 v3
摘要
基于梯度的对抗训练被广泛用于提升神经网络鲁棒性，但由于嵌入空间是离散的，其难以直接适配自然语言处理任务。在自然语言处理领域，由于文本离散且无法由梯度直接扰动，虚拟对抗训练被引入。作为替代，在嵌入空间生成扰动的虚拟对抗训练被引入NLP任务。尽管取得成功，现有虚拟对抗训练方法生成的扰动粗略地受Frobenius范数球约束。为构造细粒度扰动，我们提出一种词元感知虚拟对抗训练方法。我们引入词元级累积扰动词表以更好地初始化扰动，并使用词元级范数球有针对性地约束这些扰动。实验表明，我们的方法以可观幅度提升了BERT和ALBERT等预训练模型在多种任务上的性能。所提方法使用BERT模型将GLUE基准分数从78.3提升至80.9，并增强了序列标注与文本分类任务的性能。
引用
@article{arxiv.2004.14543,
title = {TAVAT: Token-Aware Virtual Adversarial Training for Language Understanding},
author = {Linyang Li and Xipeng Qiu},
journal= {arXiv preprint arXiv:2004.14543},
year = {2020}
}
备注
AAAI2020-preprint