通过智能批次挖掘突破对比学习的批次限制 (B3)
计算机视觉与模式识别
2025-10-27 v2
摘要
对比学习 (CL) 是训练嵌入模型的常用技术，通过将语义相似的样本（正样本）在表示空间中拉近，同时将不相似的样本（负样本）推远。负样本的主要来源之一是批内样本，即来自批次中其他样本的正样本。因此，此类模型的效果严重依赖训练批次的大小和质量。本文提出一种名为 ``打破批次限制'' (B3) 的新型批次构建策略，用于精选高质量批次以用于 CL。我们的方法首先使用预训练的教师嵌入模型对数据集中的所有样本进行排序，然后构建稀疏相似图。随后应用社区检测算法识别相互作为强负样本的样本簇。最后利用这些簇构建富含批内负样本的批次。在 MMEB 多模态嵌入基准测试（36 项任务）上的实验结果表明，我们的方法在 7B 和 2B 模型规模下分别超越了前任最佳方法各超出 +1.3 和 +2.9 分。值得注意的是，采用 B3 训练的模型即使在批次大小仅为 64（仅为其他方法所需的 4-16 倍）时，也能超越现有最新成果。此外，实验表明 B3 在不同领域和任务上的泛化能力强，即使使用显著较弱的教师模型训练也能保持良好性能。
引用
@article{arxiv.2505.11293,
title = {Breaking the Batch Barrier (B3) of Contrastive Learning via Smart Batch Mining},
author = {Raghuveer Thirukovalluru and Rui Meng and Ye Liu and Karthikeyan K and Mingyi Su and Ping Nie and Semih Yavuz and Yingbo Zhou and Wenhu Chen and Bhuwan Dhingra},
journal= {arXiv preprint arXiv:2505.11293},
year = {2025}
}
备注
17 pages, 4 figures