S-SimCSE：用于句子嵌入对比学习的采样子网络

对比学习已被研究用于提升句子嵌入学习的性能。当前最先进的方法是 SimCSE，它采用 dropout 作为数据增强方法，并将同一输入句子两次送入预训练的 transformer 编码器。由此得到的来自同一句子、具有不同 dropout 掩码的两个句子嵌入可用于构建正样本对。施加了 dropout 掩码的网络可视为其自身的子网络，其期望规模由 dropout 率决定。在本文中，我们推动具有不同期望规模的子网络为同一句子学习相似的嵌入。SimCSE 未能做到这一点，因为它们将 dropout 率固定为一个调优的超参数。我们通过在前向过程中从分布中采样 dropout 率来实现这一点。由于该方法可能使优化更困难，我们还提出了一种简单的句子级掩码策略以采样更多子网络。我们在多个流行的语义文本相似度数据集上评估了所提出的 S-SimCSE。实验结果表明，S-SimCSE 在 BERT$_{base}$ 上比最先进的 SimCSE 高出超过 $1\%$。