利用 Focal-InfoNCE 改进句子嵌入的对比学习
计算与语言
2023-10-24 v2 机器学习
摘要
SimCSE 近期的成功极大推进了最先进的句子表示。然而，SimCSE 的原始公式并未充分挖掘对比学习中难负样本的潜力。本研究引入了一种无监督对比学习框架，将 SimCSE 与难负样本挖掘相结合，旨在提升句子嵌入的质量。所提出的 focal-InfoNCE 函数在对比目标中引入自步调节项，降低与易负样本相关损失的权重，并鼓励模型聚焦于难负样本。在多个 STS 基准上的实验表明，我们的方法在 Spearman 相关系数与表示的对齐性和均匀性方面改进了句子嵌入。
引用
@article{arxiv.2310.06918,
title = {Improving Contrastive Learning of Sentence Embeddings with Focal-InfoNCE},
author = {Pengyue Hou and Xingyu Li},
journal= {arXiv preprint arXiv:2310.06918},
year = {2023}
}
备注
Findings of emnlp 2023