如何修复失效的置信度估计器：深度神经网络选择性分类的后处理方法评估
机器学习
2025-06-23 v4
摘要
本文研究深度神经网络的选择性分类问题，其中模型被允许对低置信度预测进行弃拒以避免潜在错误。我们关注所谓的后处理方法，其在不修改或重训练给定分类器的情况下替换其置信度估计器，因而具有实际吸引力。考虑具有softmax输出的神经网络，我们的目标是从非归一化logits直接计算出最佳置信度估计器。该问题受近期工作中有趣观察的启发：许多分类器似乎具有“失效的”置信度估计器，即其选择性分类性能远差于由其对应准确率所能预期的水平。我们对应用于流行仓库中84个预训练ImageNet分类器的许多现有及提出的置信度估计器进行了广泛实验研究。我们的结果表明，对logits进行简单的-范数归一化，随后取最大logit作为置信度估计器，可带来选择性分类性能的显著提升，完全修复了许多分类器中观察到的病态行为。因此，任何分类器的选择性分类性能几乎完全由其对应准确率决定。此外，这些结果在分布偏移下表现一致。我们的代码见 https://github.com/lfpc/FixSelectiveClassification。
引用
@article{arxiv.2305.15508,
title = {How to Fix a Broken Confidence Estimator: Evaluating Post-hoc Methods for Selective Classification with Deep Neural Networks},
author = {Luís Felipe P. Cattelan and Danilo Silva},
journal= {arXiv preprint arXiv:2305.15508},
year = {2025}
}