并非所有语义生而平等：基于自动温度个性化的对比自监督学习

本文旨在以原则性且系统化的方式优化带有个性化温度参数的对比损失用于自监督学习。使用全局温度参数 $\tau$ 的常规做法忽略了“并非所有语义生而平等”这一事实，即不同的锚点数据可能具有不同数量的相似语义样本，尤其在数据呈现长尾分布时。首先，我们受分布鲁棒优化（DRO）启发提出了一种新的鲁棒对比损失，为我们提供了关于 $\tau$ 作用的直觉以及自动温度个性化机制。随后，我们提出了一种高效的随机算法来优化该鲁棒对比损失，具有可证明的收敛保证且无需使用大的小批量尺寸。理论与实验结果表明，我们的算法为每个样本自动学习合适的 $\tau$。具体而言，具有频繁语义的样本使用较大温度以保持局部语义结构，而具有稀有语义的样本使用较小温度以诱导更具可分性的特征。我们的方法不仅在单模态与双模态数据集上优于先前强基线（如 SimCLR、CLIP），在不平衡数据上改进更大，而且对超参数较不敏感。据我们所知，这是首个以方法论方式优化带个性化温度的对比损失的方法。