调谐对比学习

近来,基于对比学习的损失函数因其在视觉自监督表示学习上的最先进(SOTA)性能而日益流行。多数现代对比学习方法仅推广到每个锚点一个正样本与多个负样本。近期的一种 SOTA 方法——监督对比(SupCon)损失,通过将自监督对比学习推广到批内多正多负并超越交叉熵损失,将其扩展到监督设定。本文中,我们提出一种新颖的对比损失函数——调谐对比学习(TCL)损失,它推广到批内多正多负,并提供参数以调谐和改善来自困难正样本与困难负样本的梯度响应。我们给出了该损失函数梯度响应的理论分析,并从数学上展示其优于 SupCon 损失。我们在多个分类任务数据集的监督设定下将本损失函数与 SupCon 损失及交叉熵损失进行经验比较以展示其有效性。我们还展示了本损失函数在一系列超参数设定下的稳定性。与仅用于监督设定的 SupCon 损失不同,我们展示了如何将 TCL 扩展到自监督设定,并与各种 SOTA 自监督学习方法进行经验比较。因此,我们表明 TCL 损失在监督与自监督设定下均达到与 SOTA 方法相当的性能。