对比损失行为机理解析

无监督对比学习已取得卓越成功，而对比损失的机制却较少被研究。本文聚焦于理解无监督对比损失的行为。我们将表明对比损失是一种硬度感知的损失函数，且温度 {\tau} 控制着对困难负样本的惩罚强度。已有研究表明均匀性是对比学习的关键性质。我们建立了均匀性与温度 {\tau} 之间的关系。我们将表明均匀性有助于对比学习学到可分离特征，但对均匀性的过度追求会使对比损失对语义相似样本缺乏容忍，这可能破坏潜在的语义结构并损害对下游任务有用特征的形成。这由实例判别目标的内在缺陷所致：实例判别目标试图将所有不同实例推远，忽略了样本间的潜在关联。将语义一致的样本推远对获取有益于通用下游任务的先验信息无正面作用。设计良好的对比损失应在一定程度上容忍语义相似样本的接近性。因此，我们发现对比损失面临均匀性-容忍性困境，而温度的良好选择可恰当折中这两种性质，从而既学到可分离特征又容忍语义相似样本，提升特征质量与下游性能。