深度神经网络的贝叶斯置信度估计器 (Bayesian Confidence (BACON) Estimator for Deep Neural Networks)
机器学习
2024-10-17 v1
摘要
本文介绍了用于深度神经网络的贝叶斯置信度估计器 (Bayesian Confidence Estimator, BACON)。当前将 Softmax 输出层的值解释为结果概率的做法容易导致类别概率的极端预测。本文扩展了 Waagen 利用几何模型表示终端层的方法，该方法使用贝叶斯规则估计与输出向量相关联的概率，借助验证数据提供似然值和归一化值。该估计器在 ResNet-18（85% 网络准确率）和 EfficientNet-B0（95% 网络准确率）上，相较于 Softmax 在 CIFAR-10 数据集上表现出更优的 ECE 和 ACE 校准误差，尽管在非常高准确率的边缘情况除外。此外，在使用 ACE 指标时，BACON 在估计不平衡测试集概率时，能够利用实际类别分布比例实现更好的校准误差。
引用
@article{arxiv.2410.12604,
title = {The Bayesian Confidence (BACON) Estimator for Deep Neural Networks},
author = {Patrick D. Kee and Max J. Brown and Jonathan C. Rice and Christian A. Howell},
journal= {arXiv preprint arXiv:2410.12604},
year = {2024}
}
备注
14 pages, 15 figures (10 of which include sub-figures)