在内还是在外？修正 ImageNet 分布外检测评估
机器学习
2023-06-02 v1 计算机视觉与模式识别
摘要
分布外（OOD）检测是识别与分布内（ID）任务无关输入的问题。当分布内（ID）为 ImageNet-1K 时，OOD 检测性能通常在一小部分测试 OOD 数据集上进行检验。我们发现，目前使用的大多数测试 OOD 数据集，包括来自开放集识别（OSR）文献的数据集，存在严重问题：在某些情况下，超过 50 的数据集包含属于某一 ID 类别的对象。这些错误样本严重扭曲了 OOD 检测器的评估。作为解决方案，我们引入了 NINCO 这一新型测试 OOD 数据集，其每个样本均经检验确保无 ID 成分，其细粒度的 OOD 类别范围允许对 OOD 检测器的优势与失效模式进行详细分析，特别是与若干合成的“OOD 单元测试”配合使用时。我们在 NINCO 和单元测试上对大量架构和 OOD 检测方法提供了详细评估，揭示了关于模型弱点及预训练对 OOD 检测性能影响的新见解。我们在 https://github.com/j-cb/NINCO 提供代码和数据。
引用
@article{arxiv.2306.00826,
title = {In or Out? Fixing ImageNet Out-of-Distribution Detection Evaluation},
author = {Julian Bitterwolf and Maximilian Müller and Matthias Hein},
journal= {arXiv preprint arXiv:2306.00826},
year = {2023}
}
备注
ICML 2023. Datasets, code and evaluation data at https://github.com/j-cb/NINCO