我们能从 523 个 ImageNet 分类器的选择性预测与不确定性估计性能中学到什么
机器学习
2023-02-24 v1 计算机视觉与模式识别
摘要
当部署于风险敏感任务时，深度神经网络必须包含不确定性估计机制。在此我们考察深度架构及其各自训练机制，与它们对应的选择性预测和不确定性估计性能之间的关系。我们考虑了一些先前提出的最流行的估计性能指标，包括 AUROC、ECE、AURC 以及选择性准确率约束下的覆盖率。我们提出了一项新颖且全面的研究，针对流行代码库中可用的 523 个现有预训练深度 ImageNet 分类器的选择性预测和不确定性估计性能。我们识别出众多先前未知的影响不确定性估计的因素，并考察了不同指标之间的关系。我们发现基于蒸馏的训练机制始终比其他训练方案（如普通训练、在更大数据集上预训练和对抗训练）产生更好的不确定性估计。此外，我们发现一组 ViT 模型在不确定性估计性能上优于任何其他模型。例如，我们发现一个 ViT 模型在 47% 覆盖率下在 ImageNet 上取得了前所未有的 99% top-1 选择性准确率（以及 80% 覆盖率下 95% top-1 准确率），而竞争的 EfficientNet-V2-XL 在任何覆盖率水平下都无法获得这些准确率约束。我们的 companion paper 也发表于 ICLR 2023（A framework for benchmarking class-out-of-distribution detection and its application to ImageNet），考察了这些分类器在类分布外检测设置中的性能。
引用
@article{arxiv.2302.11874,
title = {What Can We Learn From The Selective Prediction And Uncertainty Estimation Performance Of 523 Imagenet Classifiers},
author = {Ido Galil and Mohammed Dabbah and Ran El-Yaniv},
journal= {arXiv preprint arXiv:2302.11874},
year = {2023}
}
备注
Published in ICLR 2023. arXiv admin note: substantial text overlap with arXiv:2206.02152