当困难负样本采样遇上监督对比学习
计算机视觉与模式识别
2023-08-30 v1 人工智能
机器学习
摘要
最先进的图像模型主要遵循两阶段策略：在大型数据集上预训练并用交叉熵损失微调。许多研究表明，使用交叉熵会导致次优的泛化与稳定性。虽然监督对比损失通过关注类内相似性与类间差异解决了交叉熵损失的一些局限，但它忽视了困难负样本挖掘的重要性。我们提出，模型将通过对负样本依据其与正样本对应物的不相似度进行加权而从性能提升中获益。本文中，我们引入一种新的监督对比学习目标 SCHaNe，它在微调阶段融入了困难负样本采样。无需专门架构、额外数据或额外计算资源，实验结果表明 SCHaNe 在各项基准上以 Top-1 准确率优于强基线 BEiT-3，在少样本学习设定下提升高达 ，在全数据集微调下提升 。重要的是，我们提出的目标在 ImageNet-1k 上为基模型设定了新的最先进水平，达到 86.14\% 准确率。此外，我们证明所提出的目标产生了更好的嵌入并解释了实验中观察到的改进有效性。
引用
@article{arxiv.2308.14893,
title = {When hard negative sampling meets supervised contrastive learning},
author = {Zijun Long and George Killick and Richard McCreadie and Gerardo Aragon Camarasa and Zaiqiao Meng},
journal= {arXiv preprint arXiv:2308.14893},
year = {2023}
}