从边界的视角理解对比学习
机器学习
2023-10-11 v2
摘要
对比学习及其变体一直是跨领域非常有效的自监督学习方法。对比学习使用余弦相似度来度量表示之间的距离，并使用交叉熵进行表示学习。在基于余弦相似度的表示学习的同一框架内，边界在增强人脸和说话人识别任务中发挥了重要作用。有趣的是，尽管同样依赖于相同的相似度度量和目标函数，对比学习并未积极采用边界。此外，基于决策边界的解释是唯一被用来解释边界在对比学习中作用的解释。在本工作中，我们提出了一种基于梯度分析的新视角来理解边界的作用。基于这一新视角，我们分析了边界如何影响对比学习的梯度，并将其影响分解为更基本的层次。我们分别对每一项进行了分析，并提供了改进对比学习的可能方向。我们的实验结果表明，强调正样本并根据正样本角度和 logits 缩放梯度，是在已见和未见数据集上提升对比学习泛化性能的关键，而其他因素仅能略微提升性能。
引用
@article{arxiv.2306.11526,
title = {Understanding Contrastive Learning Through the Lens of Margins},
author = {Daniel Rho and TaeSoo Kim and Sooill Park and Jaehyun Park and JaeHan Park},
journal= {arXiv preprint arXiv:2306.11526},
year = {2023}
}