信任或不预测：引入CWSA系列用于置信感知模型评估
机器学习
2025-05-27 v1 人工智能
机器学习
摘要
在近期机器学习系统中，置信得分被越来越多地用于管理选择性预测，即模型在不够自信时可选择不作出预测。然而，像准确率、预期校准误差(ECE)和风险-覆盖曲线下面积(AURC)等常规指标并未捕捉预测的实际可靠性。这些指标要么完全忽视置信度，要么通过平均稀释了有价值的局部信息，要么未能对高置信度错误适当地进行惩罚，这在实际系统中尤为有害。我们引入两个新指标置信加权选择性准确率(CWSA)及其归一化变体CWSA+，提供一种原则且可解释的方式来评估置信阈值下的预测模型。与现有方法不同，our指标明确奖励自信准确并惩罚高置信度错误。它们是阈值局部的、可分解的，并且可用于评估和部署设置中对信任和风险的量化。通过在真实数据集(MNIST、CIFAR-10)和人工模型变体(已校准、过度自信、不够自信、随机、完美)上的详尽实验，我们展示CWSA和CWSA+能够有效检测细微的失效模式并在信任敏感测试中超越经典指标。我们的结果确认CWSA是开发和评估针对安全关键领域的选择性预测系统的可靠基础。
引用
@article{arxiv.2505.18622,
title = {Trust, or Don't Predict: Introducing the CWSA Family for Confidence-Aware Model Evaluation},
author = {Kourosh Shahnazari and Seyed Moein Ayyoubzadeh and Mohammadali Keshtparvar and Pegah Ghaffari},
journal= {arXiv preprint arXiv:2505.18622},
year = {2025}
}