基于样本排列优化的全局对比批采样

对比学习近期在广泛任务中取得了最先进的性能。许多对比学习方法使用挖掘的困难负样本使训练批次更具信息量，但这些方法效率低下，因为它们使周期长度随挖掘的困难负样本数量成比例增加，并且需要频繁更新最近邻索引或从近期批次中挖掘。本工作中，我们提供困难负样本挖掘的一种替代方案——全局对比批采样（GCBS），它是对批分配问题的高效近似，在对比学习设置中上界了全局损失与训练损失之间的差距，即 $\mathcal{L}^{Global} - \mathcal{L}^{Train}$。通过实验我们发现GCBS在句子嵌入和代码搜索任务中提升了最先进性能。此外，GCBS易于实现，仅需额外几行代码，不维护最近邻索引等外部数据结构，比最简化的困难负样本挖掘方法计算更高效，且不对所训练模型做任何改动。