最大间隔对比学习
机器学习
2021-12-22 v1 人工智能
计算机视觉与模式识别
摘要
标准对比学习方法通常需要大量负样本以实现有效的无监督学习，且常表现出收敛缓慢。我们怀疑该行为源于用于为正样本提供对比的负样本选择次优。我们受支持向量机（SVM）启发提出最大间隔对比学习（MMCL）以应对此困难。我们的方法通过二次优化问题选取稀疏支持向量作为负样本，并通过最大化决策间隔来强制对比性。由于 SVM 优化可能计算开销大，尤其在端到端场景中，我们提出了缓解计算负担的简化方法。我们在标准视觉基准数据集上验证了我们的方法，展示了相比最先进方法在无监督表示学习上的更优性能，同时具有更好的经验收敛性质。
引用
@article{arxiv.2112.11450,
title = {Max-Margin Contrastive Learning},
author = {Anshul Shah and Suvrit Sra and Rama Chellappa and Anoop Cherian},
journal= {arXiv preprint arXiv:2112.11450},
year = {2021}
}
备注
Accepted at AAAI 2022