通过学习模型置信度解决失败预测问题
计算机视觉与模式识别
2019-10-29 v2 机器学习
机器学习
摘要
可靠地评估深度神经网络的置信度并预测其失败对于这些模型的实际部署至关重要。本文提出了一种新的模型置信度目标准则，对应于真类概率（True Class Probability, TCP）。我们展示了使用 TCP 比依赖经典的最大类概率（Maximum Class Probability, MCP）更为合适。此外，我们为 TCP 在失败预测背景下提供了理论保证。由于真类在测试时本质上未知，我们提出在训练集上学习 TCP 准则，并引入一种适用于该背景的特定学习方案。我们进行了大量实验以验证所提方法的相关性。我们研究了各种网络架构，以及用于图像分类和语义分割的小规模和大规模数据集。我们表明，我们的方法始终优于多种强基线方法，从 MCP 到贝叶斯不确定性，以及近期专门为失败预测设计的方法。
引用
@article{arxiv.1910.04851,
title = {Addressing Failure Prediction by Learning Model Confidence},
author = {Charles Corbière and Nicolas Thome and Avner Bar-Hen and Matthieu Cord and Patrick Pérez},
journal= {arXiv preprint arXiv:1910.04851},
year = {2019}
}
备注
NeurIPS 2019 (accepted)