从误分类到离群值：分类中的联合可靠性评估
计算机视觉与模式识别
2026-03-05 v1 机器学习
摘要
构建可靠的分类器是将机器学习部署到实际应用中面临的基本挑战。可靠的系统不仅应检测离群分布（OOD）输入，还应通过为潜在误分类样本分配低置信度来预见分布内（ID）错误。然而，大多数先前工作将 OOD 检测和故障预测视为分离的问题，忽略了它们之间的紧密联系。我们认为可靠性需要联合评估它们。为此，我们提出了一个统一的评估框架，将 OOD 检测和故障预测集成在一起，通过我们新的指标 DS-F1 和 DS-AURC 来量化，其中 DS 表示双重评分函数。在 OpenOOD 基准上的实验表明，双重评分函数导致的分类器在可靠性上显著优于传统单一评分方法。我们的分析进一步揭示，OOD 方法在简单或远-OOD 偏移下提供显著收益，但在更具挑战性的近-OOD 情况下仅提供有限的益处。除了评估，我们扩展了可靠分类器 SURE，引入 SURE+，该方法在各种场景中显著提高了可靠性。总体而言，我们的框架、指标和方法为可信赖的分类建立了新的基准，并为在实际场景中部署稳健模型提供了实用指导。源代码已公开于 https://github.com/Intellindust-AI-Lab/SUREPlus。
引用
@article{arxiv.2603.03903,
title = {From Misclassifications to Outliers: Joint Reliability Assessment in Classification},
author = {Yang Li and Youyang Sha and Yinzhi Wang and Timothy Hospedales and Xi Shen and Shell Xu Hu and Xuanlong Yu},
journal= {arXiv preprint arXiv:2603.03903},
year = {2026}
}
备注
15 pages, 3 figures. The source code is publicly available at https://github.com/Intellindust-AI-Lab/SUREPlus