全局对比学习的可证明随机优化：小批量不损害性能
机器学习
2022-09-22 v4 计算机视觉与模式识别
最优化与控制
机器学习
摘要
在本文中，我们从优化视角研究对比学习，旨在分析和解决现有对比学习方法的一个基本问题，即要么依赖大批量大小，要么依赖大的特征向量字典。我们考虑对比学习的全局目标，其将每个正样本对与锚点的所有负样本对进行对比。从优化视角，我们解释了为何现有方法（如SimCLR）需要大批量大小才能获得满意结果。为消除这一要求，我们提出一种内存高效的随机优化算法，用于求解表示对比学习的全局目标，命名为SogCLR。我们表明，在足够迭代次数后于合理条件下其优化误差可忽略不计，或对于略微不同的全局对比目标其误差是递减的。在经验上，我们证明小批量大小（例如256）的SogCLR在ImageNet-1K自监督学习任务上可达到与大批量大小（例如8192）的SimCLR相似性能。我们也尝试表明所提优化技术是通用的，可应用于求解其他对比损失，例如用于双模态对比学习的双向对比损失。所提方法在我们开源的库LibAUC（www.libauc.org）中实现。
引用
@article{arxiv.2202.12387,
title = {Provable Stochastic Optimization for Global Contrastive Learning: Small Batch Does Not Harm Performance},
author = {Zhuoning Yuan and Yuexin Wu and Zi-Hao Qiu and Xianzhi Du and Lijun Zhang and Denny Zhou and Tianbao Yang},
journal= {arXiv preprint arXiv:2202.12387},
year = {2022}
}
备注
Accepted by ICML2022