焦点损失的几何视角:降低曲率以提高模型校准

在决策情境中实现机器学习算法的关键因素不仅是模型的准确率,还在于其置信水平。在分类问题中,模型的置信水平通常由softmax函数的输出向量给出。然而,这些值已知显著偏离实际期望的模型置信。这被称为模型校准,已受到广泛研究。一种最简单的解决此任务的技术是焦点损失,这是交叉熵的一个推广,通过引入一个正参数实现。尽管已存在大量相关研究,因为该想法的简单性及其形式化,但其行为的理论分析仍不充分。在本研究中,我们的目标是通过重新解释该函数的几何行为来理解焦点损失的行为。我们的分析表明,焦点损失降低了模型训练中损失函数表面的曲率。这表明曲率可能是实现模型校准的关键因素。我们设计了数值实验来支持此猜想,揭示焦点损失的行为以及校准性能与曲率之间的关系。