基于数据驱动置信最小化的保守预测
机器学习
2024-06-04 v2 人工智能
摘要
在机器学习的安全关键应用中,模型往往需要具备保守性,即对训练数据中未充分代表的未知输入 abstain(放弃)做出预测。然而,检测未知样本具有挑战性,因为不可能在测试时预见所有潜在输入。为此,先前工作(Hendrycks 等,2018)在一个精心筛选、与训练分布不相交的辅助离群数据集上最小化模型置信度。我们从理论上分析了置信最小化中辅助数据集的选择,揭示了两条可操作的见解:(1) 若辅助集包含与测试时相似的未知样本,置信最小化可证明地检测未知测试样本;(2) 若满足第一条件,则无需为分布外(OOD)检测过滤掉已知样本。受这些准则启发,我们提出数据驱动置信最小化(DCM)框架,该框架在不确定性数据集上最小化置信度。我们将 DCM 应用于保守预测至关重要的两个问题设定——选择性分类与 OOD 检测——并为每种设定提供收集不确定性数据的现实方法。在我们的实验中,DCM 在 4 个数据集上测试未见分布时持续优于现有选择性分类方法,并在 12 个 ID-OOD 数据集对上优于最先进 OOD 检测方法,相比 Outlier Exposure 在 CIFAR-10 和 CIFAR-100 上将 FPR(在 TPR 时)分别降低 和 。
引用
@article{arxiv.2306.04974,
title = {Conservative Prediction via Data-Driven Confidence Minimization},
author = {Caroline Choi and Fahim Tajwar and Yoonho Lee and Huaxiu Yao and Ananya Kumar and Chelsea Finn},
journal= {arXiv preprint arXiv:2306.04974},
year = {2024}
}
备注
Transactions on Machine Learning Research (TMLR), 2024