UNSEE：无监督非对比句子嵌入

我们提出了 UNSEE：无监督非对比句子嵌入，这是一种在 Massive Text Embedding 基准测试中优于 SimCSE 的新方法。我们的探索始于解决表示坍缩的挑战，该现象是在将 SimCSE 中的对比目标替换为非对比目标时观察到的。为应对这一问题，我们提出了一种称为目标网络的简单解决方案，能够有效缓解表示坍缩。目标网络的引入使我们能够利用非对比目标，在保持训练稳定性的同时取得与对比目标相当的性能提升。通过精细的微调和优化，我们的方法在非对比句子嵌入方面达到了峰值性能。这些综合努力产生了优异的句子表示模型，展示了我们方法的有效性。