SINCERE：有监督信息噪声对比估计再探
计算机视觉与模式识别
2024-11-11 v4 机器学习
摘要
信息噪声对比估计（InfoNCE）损失函数因其强大的实证结果和理论动机，成为许多自监督深度学习方法的基石。先前的工作提出了有监督对比（SupCon）损失，以扩展 InfoNCE 从而利用可用的类标签进行学习。由于报道了良好的实证性能，该 SupCon 损失已被广泛使用。然而，在这项工作中，我们发现先前的 SupCon 损失表述存在可疑的合理性，因为它可能鼓励同一类的一些图像在所学嵌入空间中相互排斥。这种有问题的类内排斥随着共享一个类标签的图像数量增加而变得更糟。我们提出了有监督 InfoNCE 再探（SINCERE）损失，作为 InfoNCE 的理论上合理的有监督扩展，消除了类内排斥。实验表明，SINCERE 导致来自不同类的嵌入更好分离，并提高了迁移学习分类准确率。我们还利用概率建模推导了一个信息论界，将 SINCERE 损失与目标类及所有其他类的数据生成分布之间的对称化 KL 散度联系起来。
引用
@article{arxiv.2309.14277,
title = {SINCERE: Supervised Information Noise-Contrastive Estimation REvisited},
author = {Patrick Feeney and Michael C. Hughes},
journal= {arXiv preprint arXiv:2309.14277},
year = {2024}
}