剖析分布外检测与开放集识别：方法与基准的批判性分析
计算机视觉与模式识别
2024-09-02 v2 人工智能
摘要
检测测试时的分布偏移已成为安全部署机器学习模型的一项关键能力，近年来该问题以各种形式被研究。本文旨在为社区内两个最大的子领域提供统一视角：分布外（OOD）检测和开放集识别（OSR）。特别是，我们旨在对不同设置下的各种方法进行严格的实证分析，并为从业者和研究人员提供可操作的结论。具体而言，我们做出了以下贡献： 我们在 OOD 检测和 OSR 设置中对 SOTA 方法进行了严格的交叉评估，并发现它们的方法性能之间存在强相关性； 我们提出了一种新的大规模基准设置，我们认为该设置能更好地解耦 OOD 检测和 OSR 所解决的问题，并在此设置下重新评估了 SOTA OOD 检测和 OSR 方法； 我们令人惊讶地发现，在标准基准上表现最佳的方法在规模化测试时表现挣扎，而对深度特征幅度敏感的评分规则则持续展现出潜力； 我们进行了实证分析以解释这些现象，并突出了未来研究的方向。代码：https://github.com/Visual-AI/Dissect-OOD-OSR
引用
@article{arxiv.2408.16757,
title = {Dissecting Out-of-Distribution Detection and Open-Set Recognition: A Critical Analysis of Methods and Benchmarks},
author = {Hongjun Wang and Sagar Vaze and Kai Han},
journal= {arXiv preprint arXiv:2408.16757},
year = {2024}
}
备注
Accepted to IJCV, preprint version; v2: add supplementary