面向条件模型的软目标噪声对比估计

软目标与交叉熵损失相结合已被证明能提高深度神经网络在监督分类任务上的泛化性能。然而，标准交叉熵损失假设数据服从分类分布，这在实践中往往不成立。相比之下，InfoNCE 不依赖这种显式假设，而是通过负采样隐式估计真实条件分布。不幸的是，在其标准形式下，InfoNCE 无法与软目标结合，这阻碍了其与复杂训练策略的联合使用。在本文中，我们通过提出一种与概率目标兼容的损失函数来解决这一限制。我们的新软目标 InfoNCE 损失在概念上简单、计算高效，并且可以通过噪声对比估计框架进行动机解释。通过一个玩具示例，我们展示了交叉熵的分类分布假设的缺陷，并讨论了从软分布中采样的含义。我们观察到，软目标 InfoNCE 在性能上与强软目标交叉熵基线相当，并在包括 ImageNet 在内的流行基准上优于硬目标 NLL 和 InfoNCE 损失。最后，我们提供了损失函数的简单实现，适用于监督分类，并与使用交叉熵训练的深度分类模型完全兼容。