SimCSE++：从两个角度改进句向量对比学习
计算与语言
2023-12-25 v2
摘要
本文从两个角度改进句向量的对比学习：处理 dropout 噪声和解决特征损坏。具体而言，对于第一个角度，我们识别出负样本对带来的 dropout 噪声会影响模型性能。因此，我们提出了一种简单而有效的方法来应对此类噪声。其次，我们指出了当前解决特征损坏方法的秩瓶颈，并提出了一种维度级对比学习目标来解决该问题。两种提出的方法都是通用的，可应用于任何基于对比学习的句向量模型。在标准基准上的实验结果表明，结合两种提出的方法相比配置 BERT base 的强基线 SimCSE 带来了 1.8 个点的提升。此外，将提出的方法应用于另一强基线 DiffCSE（基于对比学习）带来了 1.4 个点的提升。
引用
@article{arxiv.2305.13192,
title = {SimCSE++: Improving Contrastive Learning for Sentence Embeddings from Two Perspectives},
author = {Jiahao Xu and Wei Shao and Lihui Chen and Lemao Liu},
journal= {arXiv preprint arXiv:2305.13192},
year = {2023}
}