长尾数据上自监督对比方法的温度调度

大多数自监督学习（SSL）方法在精心整理的均衡数据集（如 ImageNet）上优化，尽管自然数据通常呈现长尾分布。在本文中，我们分析了最流行的 SSL 变体之一，即对比方法，在长尾数据上的行为。特别地，我们通过平均距离最大化的视角分析对比损失中温度参数 $\tau$ 的作用，发现较大的 $\tau$ 强调组间判别，而较小的 $\tau$ 导致更高程度的实例判别。尽管 $\tau$ 迄今仅被视为恒定超参数，本工作中我们提出采用动态 $\tau$，并表明简单的余弦调度可显著改善所学表示。此类调度导致在强调实例判别与组间判别之间持续“任务切换”，从而确保模型同时学习组间特征与实例特定细节。由于频繁类别受益于前者，而不频繁类别需要后者，我们发现该方法能在不增加任何计算成本的情况下持续改善长尾数据中类间的分离度。