探究对比学习中负样本的影响：以句子嵌入为例

对比学习正作为一种从无标注数据中提取知识的强大技术而兴起。该技术需要两种成分的均衡混合：正（相似）样本与负（不相似）样本。这通常通过在训练期间维护一个负样本队列来实现。该领域的先前工作通常使用固定长度的负样本队列，但负样本规模如何影响模型性能仍不清楚。采用对比学习时负样本数量对性能的不透明影响引发了我们的深入探究。本文提出一种带负样本队列的动量对比学习模型用于句子嵌入，即 MoCoSE。我们在在线分支上添加预测层使模型非对称，并结合目标分支的 EMA 更新机制以防止模型坍缩。我们定义了最大可追溯距离度量，借此我们了解到文本对比学习在多大程度上受益于负样本的历史信息。我们的实验发现当最大可追溯距离处于某一范围时取得最佳结果，表明负样本队列的历史信息存在最优范围。我们在语义文本相似度（STS）任务上评估所提无监督 MoCoSE，取得了 $77.27\%$ 的平均 Spearman 相关性。源代码见 https://github.com/xbdxwyh/mocose。