基于对比对抗训练的改进文本分类方法
计算与语言
2022-02-21 v2
摘要
我们提出一种简单而通用的正则化方法，用于文本分类任务中基于Transformer编码器的微调。具体而言，在微调过程中，我们通过扰动模型的词嵌入来生成对抗样本，并在干净样本与对抗样本上执行对比学习，以教导模型学习噪声不变表示。通过在干净样本与对抗样本上联合训练并辅以额外的对比目标，我们观察到相较于仅在干净样本上标准微调的一致提升。在若干GLUE基准任务上，我们微调的BERT Large模型平均优于BERT Large基线1.7%，而我们微调的RoBERTa Large较RoBERTa Large基线提升1.3%。我们还在不同领域使用三个意图分类数据集进一步验证了该方法，其中微调的RoBERTa Large平均优于RoBERTa Large基线1-2%。
引用
@article{arxiv.2107.10137,
title = {Improved Text Classification via Contrastive Adversarial Training},
author = {Lin Pan and Chung-Wei Hang and Avirup Sil and Saloni Potdar},
journal= {arXiv preprint arXiv:2107.10137},
year = {2022}
}