通过关联焦点损失、温度缩放和适当性改进校准

诸如交叉熵之类的适当损失函数激励分类器产生在训练数据上校准良好的类别概率。由于泛化差距，这些分类器往往在测试数据上变得过于自信，因此需要温度缩放等校准方法。焦点损失不是适当的，但使用它进行训练已被证明通常会导致分类器在测试数据上得到更好的校准。我们的第一个贡献是关于为什么焦点损失训练通常比交叉熵训练导致更好校准的简单解释。为此，我们证明了焦点损失可以分解为一个置信度提升变换和一个适当损失。这就是为什么焦点损失推动模型在训练数据上提供欠自信的预测，从而由于泛化差距而在测试数据上得到更好的校准。其次，我们通过其置信度提升变换（我们称之为焦点校准映射）揭示了温度缩放和焦点损失之间的强关联。第三，我们提出了焦点温度缩放——一种结合了焦点校准和温度缩放的新的后处理方法。我们在三个图像分类数据集上的实验表明，焦点温度缩放优于标准温度缩放。