基于提示对比学习与能量学习的改进通用句子嵌入
计算与语言
2022-10-11 v2
摘要
对比学习已被证明能有效地增强预训练语言模型（PLMs）以导出更优的通用句子嵌入。然而，现有的对比方法仍有两个局限。首先，先前的工作在领域偏移设置下可能获得较差性能，从而阻碍句子表示的实际应用。我们将此低性能归因于 PLMs 具有数百万参数的过度参数化。为缓解该问题，我们提出 PromCSE（基于提示的句嵌入对比学习，Prompt-based Contrastive Learning for Sentence Embeddings），其仅训练小规模的\emph{Soft Prompt}（即一组可训练向量），同时保持 PLMs 固定。其次，对比学习常用的 NT-Xent 损失函数在监督学习设置中未充分利用难负样本。为此，受 NT-Xent 损失与基于能量的学习范式之间联系的启发，我们提出集成一个基于能量的 Hinge 损失以增强成对判别力。在七个标准语义文本相似度（STS）任务和一个领域偏移 STS 任务上的实证结果均显示了我们的方法相对于当前最先进句子嵌入模型的有效性。我们的代码公开于 https://github.com/YJiangcm/PromCSE
引用
@article{arxiv.2203.06875,
title = {Improved Universal Sentence Embeddings with Prompt-based Contrastive Learning and Energy-based Learning},
author = {Yuxin Jiang and Linhan Zhang and Wei Wang},
journal= {arXiv preprint arXiv:2203.06875},
year = {2022}
}
备注
15 pages, 3 figures, Findings of EMNLP 2022