分布外检测应使用共形预测（反之亦然？）
机器学习
2024-03-19 v1 计算机视觉与模式识别
机器学习
摘要
分布外（OOD）检测的研究主要集中在构建能有效区分 OOD 数据与分布内（ID）数据的评分上。另一方面，共形预测（CP）利用非一致性评分来构建具有概率覆盖保证的预测集。本文提出利用 CP 来更好地评估 OOD 评分的效率。具体而言，我们强调在标准 OOD 基准设置中，由于测试数据集的有限样本量，评估指标可能过于乐观。基于（Bates et al., 2022）的工作，我们定义了新的共形 AUROC 和共形 FRP@TPR95 指标，这些修正为这些指标的变异性提供了概率保守性保证。我们展示了这些修正在两个参考 OOD 和异常检测基准（OpenOOD（Yang et al., 2022）和 ADBench（Han et al., 2022））上的效果。我们还表明，将 OOD 与 CP 结合使用的益处反过来也成立：通过将 OOD 评分用作非一致性评分，可以改进当前的 CP 方法。这些贡献的关键信息之一是，由于 OOD 关注评分设计，而 CP 关注评分解释，这两个领域可能本质上是相互交织的。
引用
@article{arxiv.2403.11532,
title = {Out-of-Distribution Detection Should Use Conformal Prediction (and Vice-versa?)},
author = {Paul Novello and Joseba Dalmau and Léo Andeol},
journal= {arXiv preprint arXiv:2403.11532},
year = {2024}
}