基于白化的句子嵌入对比学习
计算与语言
2023-06-09 v2
摘要
本文提出一种用于句子嵌入学习的基于白化的对比学习方法（WhitenedCSE），该方法将对比学习与一种新颖的打乱分组白化相结合。通常，对比学习将单个样本的不同扰动（即正样本）拉近，并将负样本推远，从而相应地促进特征空间中的对齐与均匀性。替代“推远”操作的流行做法是白化特征空间，使所有样本分散以实现均匀性。由于白化与对比学习在均匀性方面存在较大冗余，它们通常分开使用且不易协同工作。本文首次将白化整合进对比学习框架，并带来两点益处。1）更好的均匀性。我们发现这两种方法并非完全冗余，而是由于均匀性机制不同而具有互补性。2）更好的对齐。我们沿通道轴将特征随机划分为多个组，并在每组内独立进行白化。通过打乱分组划分，我们获得单个样本的多种扰动，从而增加了正样本的多样性。因此，使用多样性增强的多个正样本因更好的对齐进一步改善了对比学习。在七个语义文本相似度任务上的大量实验表明，我们的方法相比对比学习基线取得了一致的提升，并刷新了最优性能，例如在STS任务上达到78.78%（基于BERT\ba的+2.53%）Spearman相关系数。
引用
@article{arxiv.2305.17746,
title = {Whitening-based Contrastive Learning of Sentence Embeddings},
author = {Wenjie Zhuo and Yifan Sun and Xiaohan Wang and Linchao Zhu and Yi Yang},
journal= {arXiv preprint arXiv:2305.17746},
year = {2023}
}
备注
ACL 2023 Main Conference(Oral)