平滑校准误差的一致收敛性及其与泛函梯度的关系
机器学习
2025-10-07 v4 机器学习
摘要
校准是可靠概率预测的关键要求，尤其是在高风险应用中。然而，对于哪些学习算法能够同时实现高准确率和良好校准的理论理解仍然有限，许多现有研究仅在受限环境下提供经验验证或理论保证。为了解决这一问题，在本研究中，我们聚焦于平滑校准误差（CE），并提供了一致收敛界，表明平滑 CE 受限于训练数据集上的平滑 CE 与泛化差距之和。我们进一步证明，损失函数的泛函梯度可以有效控制训练平滑 CE。基于这一框架，我们分析了三种代表性算法：梯度提升树、核提升和两层神经网络。对于每种算法，我们推导了同时保证分类和校准性能的条件。我们的结果为设计具有可证明校准保证的可靠概率模型提供了新的理论见解和实践指导。
引用
@article{arxiv.2505.19396,
title = {Uniform convergence of the smooth calibration error and its relationship with functional gradient},
author = {Futoshi Futami and Atsushi Nitanda},
journal= {arXiv preprint arXiv:2505.19396},
year = {2025}
}