超越过度自信：基础模型重新定义深度神经网络的校准
机器学习
2025-06-12 v1
摘要
可靠的不确定性校准对于在高风险应用中安全部署深度神经网络至关重要。深度神经网络已知表现出系统性过度自信，尤其是在分布偏移下。尽管ConvNeXt、EVA和BEiT等基础模型在预测性能上已展现出显著改进，但其校准特性仍未被充分探索。本文对基础模型的校准行为进行了全面研究，揭示了挑战既有范式的洞见。我们的实证分析表明，这些模型在分布内预测中倾向于欠自信，从而导致更高的校准误差，同时在分布偏移下展现出改善的校准性能。此外，我们证明基础模型在分布内设定下对事后校准技术高度敏感，使从业者能够有效缓解欠自信偏差。然而，这些方法在严重分布偏移下逐渐变得不可靠，并偶尔产生适得其反的结果。我们的发现揭示了架构和训练创新对校准的复杂非单调效应，挑战了持续改进的既有叙事。
引用
@article{arxiv.2506.09593,
title = {Beyond Overconfidence: Foundation Models Redefine Calibration in Deep Neural Networks},
author = {Achim Hekler and Lukas Kuhn and Florian Buettner},
journal= {arXiv preprint arXiv:2506.09593},
year = {2025}
}