超越校准：估计现代神经网络的分组损失
机器学习
2023-04-28 v3 人工智能
机器学习
摘要
确保分类器给出可靠置信度分数的能力对于保证知情决策至关重要。为此，近期工作聚焦于误校准，即模型分数的过度或不足置信。然而校准是不够的：即使是一个具有最佳可能精度的完美校准分类器，其置信度分数也可能远偏离真实后验概率。这是由于分组损失造成的，即具有相同置信度分数但不同真实后验概率的样本所产生。适当的评分规则理论表明，在给定校准损失的情况下，刻画个体误差的缺失部分是分组损失。虽然有许多校准损失的估计器，但在标准设置中分组损失尚无估计器。在此，我们提出一种估计器来近似分组损失。我们表明视觉和自然语言处理中的现代神经网络架构表现出分组损失，尤其在分布偏移设置中，这凸显了生产前验证的重要性。
引用
@article{arxiv.2210.16315,
title = {Beyond calibration: estimating the grouping loss of modern neural networks},
author = {Alexandre Perez-Lebel and Marine Le Morvan and Gaël Varoquaux},
journal= {arXiv preprint arXiv:2210.16315},
year = {2023}
}