哪些模型天生最擅长不确定性估计？
摘要
由于本文内容全面，已更新并拆分为两篇独立论文：《面向ImageNet的类分布外检测基准框架》与《从523个ImageNet分类器的选择性预测与不确定性估计性能中我们能学到什么》。建议改读这两篇。深度神经网络在部署于风险敏感任务时必须配备不确定性估计机制。本文研究了深度架构及其训练机制与其对应的选择性预测和不确定性估计性能之间的关系。我们同时考虑分布内不确定性与类分布外不确定性。此外，我们考虑了先前提出的一些最流行的估计性能指标，包括AUROC、ECE、AURC以及选择性精度约束下的覆盖率。我们对流行的模型仓库中可用的484个现有预训练深度ImageNet分类器的选择性预测与不确定性估计性能进行了新颖且全面的研究。我们识别了众多先前未知的影响不确定性估计的因素，并考察了不同指标之间的关系。我们发现，基于蒸馏的训练机制始终比其他训练方案（如普通训练、在更大数据集上预训练和对抗训练）产生更好的不确定性估计。我们还提供了强有力的经验证据，表明无论从何种方面判断，在分布内与类分布外场景下，ViT都是迄今为止在不确定性估计性能上最优越的架构。
引用
@article{arxiv.2206.02152,
title = {Which models are innately best at uncertainty estimation?},
author = {Ido Galil and Mohammed Dabbah and Ran El-Yaniv},
journal= {arXiv preprint arXiv:2206.02152},
year = {2023}
}
备注
Due to the comprehensive nature of this paper, it has been updated and split into two separate papers: "A Framework For Benchmarking Class-out-of-distribution Detection And Its Application To ImageNet" and "What Can We Learn From The Selective Prediction And Uncertainty Estimation Performance Of 523 Imagenet Classifiers". We recommend reading them instead