自监督对比学习中的动态缩放温度
机器学习
2024-05-13 v2 计算机视觉与模式识别
摘要
在SimCLR、MoCo等当代自监督对比算法中，平衡两个语义相似样本间的吸引力和两个不同类别样本间的排斥力这一任务，主要受难负样本存在的影响。尽管已有研究表明InfoNCE损失能依据难度施加惩罚，但温度超参数是调节惩罚以及均匀性与容忍度之间权衡的关键。本工作中，我们聚焦于通过提出一种新颖的依赖于余弦相似度的温度缩放函数，来改进自监督学习中InfoNCE损失的性能，从而有效优化特征空间中样本的分布。我们还提供了数学分析以支持此类动态缩放温度函数的构建。实验证据表明，所提框架优于基于对比损失的自监督学习（SSL）算法。
引用
@article{arxiv.2308.01140,
title = {Dynamically Scaled Temperature in Self-Supervised Contrastive Learning},
author = {Siladittya Manna and Soumitri Chattopadhyay and Rakesh Dey and Saumik Bhattacharya and Umapada Pal},
journal= {arXiv preprint arXiv:2308.01140},
year = {2024}
}