OpenOOD：广义分布外检测基准评测
计算机视觉与模式识别
2022-10-14 v1 人工智能
机器学习
摘要
分布外（OOD）检测对安全关键的机器学习应用至关重要，因此已被广泛研究，文献中开发了众多方法。然而，该领域目前缺乏统一、严格制定且全面的基准，常导致不公平比较与不确定结论。从问题设定角度看，OOD检测与异常检测（AD）、开集识别（OSR）和模型不确定性等邻近领域密切相关，因为一个领域开发的方法往往适用于其他领域。为帮助社区改进评测并向前推进，我们构建了名为OpenOOD的统一、结构良好的代码库，实现了相关领域开发的30余种方法，并在近期提出的广义OOD检测框架下提供全面基准。通过对这些方法的综合比较，我们欣慰地看到该领域在过去几年取得显著进展，其中预处理方法与正交的后处理方法均展现出强大潜力。
引用
@article{arxiv.2210.07242,
title = {OpenOOD: Benchmarking Generalized Out-of-Distribution Detection},
author = {Jingkang Yang and Pengyun Wang and Dejian Zou and Zitang Zhou and Kunyuan Ding and Wenxuan Peng and Haoqi Wang and Guangyao Chen and Bo Li and Yiyou Sun and Xuefeng Du and Kaiyang Zhou and Wayne Zhang and Dan Hendrycks and Yixuan Li and Ziwei Liu},
journal= {arXiv preprint arXiv:2210.07242},
year = {2022}
}
备注
Accepted by NeurIPS 2022 Datasets and Benchmarks Track. Codebase: https://github.com/Jingkang50/OpenOOD