面向语言理解的标签锚定对比学习
计算与语言
2022-05-23 v1
摘要
对比学习（CL）近期借助自监督学习在计算机视觉、语音与自然语言处理领域取得了惊人进展。然而，CL 在监督设定下的应用尚未被充分探索，尤其是针对自然语言理解分类任务。直观上，类标签本身具备执行困难正/负样本挖掘的内在能力，而这正是 CL 的关键。受此启发，我们提出一种新颖的标签锚定对比学习方法（记为 LaCon）用于语言理解。具体而言，设计了三个对比目标，包括多头实例中心对比损失（ICL）、标签中心对比损失（LCL）与标签嵌入正则化器（LER）。我们的方法无需任何专门网络架构或额外数据增强，因此可轻松插入现有强大的预训练语言模型。相较于最先进基线，LaCon 在 GLUE 与 CLUE 基准的流行数据集上取得最高 4.1% 的提升。此外，LaCon 在少样本与数据不平衡设定下亦展现出显著优势，在 FewGLUE 与 FewCLUE 基准任务上取得最高 9.4% 的提升。
引用
@article{arxiv.2205.10227,
title = {Label Anchored Contrastive Learning for Language Understanding},
author = {Zhenyu Zhang and Yuming Zhao and Meng Chen and Xiaodong He},
journal= {arXiv preprint arXiv:2205.10227},
year = {2022}
}