DOCTOR：一种检测误分类错误的简单方法
计算机视觉与模式识别
2021-11-01 v2 机器学习
摘要
深度神经网络（DNN）在大规模目标识别问题上表现优异，并因此被广泛应用于现实场景，包括将 DNN 作为“黑盒”部署的情况。保障其使用安全的一种有前景的方法是：接受那些很可能正确的决策，而丢弃其余决策。本文中，我们提出 DOCTOR，一种旨在判断 DNN 分类器的预测是否可信（从而可据此接受或拒绝该预测）的简单方法。我们研究了两种场景：仅能获取软预测结果的完全黑盒（TBB）场景，以及允许通过梯度传播进行输入预处理的半黑盒（PBB）场景。实验表明，DOCTOR 在多个知名图像与情感分析数据集上优于所有最先进（SOTA）方法。特别地，我们在 PBB 场景中观察到错误拒绝率（FRR）最高降低 。DOCTOR 可应用于任意预训练模型，无需关于底层数据集的先验信息，且其与文献中现有最简单的方法一样简便。
引用
@article{arxiv.2106.02395,
title = {DOCTOR: A Simple Method for Detecting Misclassification Errors},
author = {Federica Granese and Marco Romanelli and Daniele Gorla and Catuscia Palamidessi and Pablo Piantanida},
journal= {arXiv preprint arXiv:2106.02395},
year = {2021}
}
备注
This paper has been accepted to appear as a spotlight in the Proceedings of the 2021 Conference on Neural Information Processing Systems (NeurIPS 2021), December 6-14, 2021, Virtual Event