面向NLP任务的简单对比表征对抗学习
计算与语言
2021-12-03 v2
摘要
对比学习等自监督学习方法在自然语言处理中受到极大关注。它利用成对的训练数据增强为具有良好表征能力的编码器构建分类任务。然而，在自然语言处理任务中，对比学习的学习对构建要困难得多。先前工作通过生成词级变化来构造对，但由于自然语言的离散和稀疏特性，微小变换可能导致句子含义的显著改变。本文中，我们执行对抗训练，在NLP的嵌入空间上生成具有挑战性且更困难的学习对抗样本作为学习对。使用对比学习可改善对抗训练的泛化能力，因为对比损失能使样本分布均匀化。同时，对抗训练也增强了对比学习的鲁棒性。我们提出了两种新框架：有监督对比对抗学习 (SCAL) 和无监督SCAL (USCAL)，其利用对抗训练为对比学习生成学习对。有监督任务的基于标签的损失被用于生成对抗样本，而无监督任务引入对比损失。为验证所提框架的有效性，我们将其应用于基于Transformer的模型以进行自然语言理解、句子语义文本相似度和对抗学习任务。GLUE基准任务上的实验结果表明，我们的微调有监督方法优于BERT达1.75%以上。我们还在语义文本相似度 (STS) 任务上评估了无监督方法，我们的方法使用BERT取得了77.29%。我们的方法在NLI任务多个对抗数据集下取得了最先进的鲁棒性结果。
引用
@article{arxiv.2111.13301,
title = {Simple Contrastive Representation Adversarial Learning for NLP Tasks},
author = {Deshui Miao and Jiaqi Zhang and Wenbo Xie and Jian Song and Xin Li and Lijuan Jia and Ning Guo},
journal= {arXiv preprint arXiv:2111.13301},
year = {2021}
}