用经验最优风险量化模型可信度以进行失败检测
人工智能
2023-08-08 v1
摘要
AI系统中的失败检测(FD)是安全关键任务部署的关键保障。FD性能的常用评估方法是风险-覆盖(RC)曲线，它揭示了数据覆盖率与接受数据上性能之间的权衡。一种常见量化RC曲线的方式是计算RC曲线下面积。然而，该指标未说明任何方法对FD的适用程度，也未指明最优覆盖率应为多少。由于FD旨在以丢弃更少数据实现更高性能，使用排除最不确定样本的部分覆盖进行评估比全覆盖更直观且有意义。此外，在覆盖率中存在一个理论模型可达到理想性能的最优点。我们提出最优RC曲线下超额面积(E-AUoptRC)，即最优点到全覆盖之间覆盖部分的面积。进一步，模型在该最优点的性能可同时代表模型学习能力和校准度。我们将其提出作为信任指数(TI)，作为对模型整体准确率的补充评估指标。我们在三个基准图像数据集上以十种transformer和CNN模型变体进行了大量实验。结果表明我们提出的方法比现有评估指标更能反映模型可信度。我们进一步观察到，具有高整体准确率的模型并非总能产生高TI，这表明所提信任指数作为模型整体准确率补充指标的必要性。代码可在\url{https://github.com/AoShuang92/optimal_risk}获取。
引用
@article{arxiv.2308.03179,
title = {Empirical Optimal Risk to Quantify Model Trustworthiness for Failure Detection},
author = {Shuang Ao and Stefan Rueger and Advaith Siddharthan},
journal= {arXiv preprint arXiv:2308.03179},
year = {2023}
}
备注
7 pages