基于提示派生虚拟语义原型的无监督句子嵌入对比学习
计算与语言
2022-12-13 v2
摘要
对比学习已成为无监督句子嵌入的新范式。以往研究聚焦于实例级对比学习，试图通过文本数据增强来构造正样本对。本文提出一种新颖的基于提示派生虚拟语义原型的对比学习方法（ConPVP）。具体而言，借助提示，我们为每个实例构造虚拟语义原型，并利用提示的否定形式派生负原型。通过原型对比损失，我们迫使锚定句子嵌入接近其对应语义原型，并远离负原型以及其他句子的原型。在语义文本相似度、迁移和聚类任务上的大量实验结果证明了我们所提模型相较于强基线的有效性。代码见 https://github.com/lemon0830/promptCSE。
引用
@article{arxiv.2211.03348,
title = {Contrastive Learning with Prompt-derived Virtual Semantic Prototypes for Unsupervised Sentence Embedding},
author = {Jiali Zeng and Yongjing Yin and Yufan Jiang and Shuangzhi Wu and Yunbo Cao},
journal= {arXiv preprint arXiv:2211.03348},
year = {2022}
}
备注
Findings of EMNLP 2022