论温度缩放在存在重叠的分布上的局限性

尽管深度神经网络具有令人印象深刻的泛化能力，但已被反复证明在其错误时会过度自信。解决这一问题被称为模型校准，因此以修改训练方案和训练后校准程序（如温度缩放）的形式受到了广泛关注。虽然温度缩放因其简单性而被频繁使用，但它通常不如修改后的训练方案。在本工作中，我们确定了温度缩放性能的一个特定瓶颈。我们证明，对于类别的支撑集存在重叠的一般分布集合的经验风险最小化器，温度缩放的性能会随着类别之间重叠程度的增加而下降，并且当类别数量很大时，其性能渐近地变得不比随机猜测更好。另一方面，我们证明，优化由 Mixup 数据增强技术诱导的修正形式经验风险实际上可以带来相当好的校准性能，这表明在某些情况下训练时校准可能是必要的。我们还通过证明在引入了标签噪声形式的类别重叠的图像分类基准上，Mixup 在多个校准指标上显著优于经验风险最小化，从而验证了我们的理论结果反映了实际情况。