一类分布外类别检测基准框架及其在ImageNet上的应用
摘要
当深度神经网络被部署于风险敏感任务时，必须能够检测出来自其训练分布之外标签的实例。本文提出一种新颖的框架，用于在不同检测难度层级上基准测试图像分类器检测类分布外（class-out-of-distribution）实例（即真实标签未出现在训练分布中的实例）的能力。我们将该技术应用于ImageNet，并对525个公开可用的ImageNet-1k预训练分类器进行了基准测试。用于为任意ImageNet-1k分类器生成基准的代码，以及为上述525个模型准备的基准，可在 https://github.com/mdabbah/COOD_benchmarking 获取。所提框架的实用性及其相对于现有替代基准的优势，通过对这些模型所得结果的分析得以展示，其中揭示了若干新观察，包括：(1) 知识蒸馏持续改善类分布外（C-OOD）检测性能；(2) 一部分ViT在C-OOD检测上优于任何其他模型；(3) 语言—视觉CLIP模型取得了良好的零样本检测性能，其最佳实例优于所评估的所有其他模型的96%；(4) 准确率与分布内排序均与C-OOD检测呈正相关；以及 (5) 我们比较了用于C-OOD检测的各种置信度函数。我们的 companion paper 同样发表于ICLR 2023（What Can We Learn From The Selective Prediction And Uncertainty Estimation Performance Of 523 Imagenet Classifiers），考察了这些分类器在分布内设定下的不确定性估计性能（排序、校准与选择性预测性能）。
引用
@article{arxiv.2302.11893,
title = {A framework for benchmarking class-out-of-distribution detection and its application to ImageNet},
author = {Ido Galil and Mohammed Dabbah and Ran El-Yaniv},
journal= {arXiv preprint arXiv:2302.11893},
year = {2023}
}
备注
Published in ICLR 2023. arXiv admin note: text overlap with arXiv:2206.02152