超越AUROC及其同类指标：分布外检测性能评估新探
计算机视觉与模式识别
2023-06-27 v1 人工智能
机器学习
摘要
尽管开发分布外（OOD）检测方法的研究兴趣日益增长，关于应如何评估这些方法的讨论却相对较少。鉴于其对更安全AI的重要意义，审视OOD检测方法比较基础是否符合实际需求十分关键。本文中，我们仔细考察了评估OOD检测的首选指标，并质疑将OOD检测简化为二分类任务且甚少考虑检测阈值的做法。我们阐明了当前指标（AUROC及其同类）的局限性，并提出一种新指标——阈值曲线下面积（AUTC），其显式惩罚ID与OOD样本间的不良分离。脚本与数据见 https://github.com/glhr/beyond-auroc。
引用
@article{arxiv.2306.14658,
title = {Beyond AUROC & co. for evaluating out-of-distribution detection performance},
author = {Galadrielle Humblot-Renaux and Sergio Escalera and Thomas B. Moeslund},
journal= {arXiv preprint arXiv:2306.14658},
year = {2023}
}
备注
published in SAIAD CVPRW'23 (Safe Artificial Intelligence for All Domains CVPR workshop)