ESimCSE：无监督句子嵌入对比学习的增强样本构建方法
计算与语言
2022-09-13 v2 人工智能
摘要
对比学习在学习无监督句子嵌入方面引起了广泛关注。当前最先进的无监督方法是无监督 SimCSE（unsup-SimCSE）。unsup-SimCSE 将 dropout 作为一种最小的数据增强方法，将相同的输入句子两次传递给预训练的 Transformer 编码器（开启 dropout）以获得两个相应的嵌入，从而构建正样本对。由于 Transformer 中位置嵌入的使用，句子的长度信息通常会被编码到句子嵌入中，因此 unsup-SimCSE 中的每个正样本对实际上包含相同的长度信息。因此，用这些正样本对训练的 unsup-SimCSE 可能存在偏差，倾向于认为相同或相似长度的句子在语义上更相似。通过统计观察，我们发现 unsup-SimCSE 确实存在这样的问题。为了缓解这一问题，我们应用简单的重复操作来修改输入句子，然后分别将输入句子及其修改后的对应句子传递给预训练的 Transformer 编码器以获得正样本对。此外，我们从计算机视觉社区汲取灵感，引入了动量对比，在不增加额外计算的情况下增加了负样本对的数量。提出的两项修改分别应用于正样本对和负样本对，构建了一种新的句子嵌入方法，称为增强的无监督 SimCSE（ESimCSE）。我们在几个基准数据集上针对语义文本相似度（STS）任务评估了提出的 ESimCSE。实验结果表明，在 BERT-base 上，ESimCSE 的平均 Spearman 相关系数比最先进的 unsup-SimCSE 高出 2.02%。
引用
@article{arxiv.2109.04380,
title = {ESimCSE: Enhanced Sample Building Method for Contrastive Learning of Unsupervised Sentence Embedding},
author = {Xing Wu and Chaochen Gao and Liangjun Zang and Jizhong Han and Zhongyuan Wang and Songlin Hu},
journal= {arXiv preprint arXiv:2109.04380},
year = {2022}
}
备注
COLING 2022