在分布外数据集上校准深度神经网络分类器
机器学习
2020-06-17 v1 机器学习
摘要
为提升深度神经网络(DNN)分类器的可信度，代表真实正确似然的准确预测置信度至关重要。为此，许多事后校准方法被提出，利用轻量模型将目标 DNN 的输出层映射为校准后的置信度。然而，在实际的分布外(OOD)数据集上，目标 DNN 常能以高置信度误分类样本，这给现有校准方法产生准确置信度带来重大挑战。本文提出一种新的事后置信度校准方法，称为 CCAC(带辅助类的置信度校准)，用于 OOD 数据集上的 DNN 分类器。CCAC 的关键新颖之处在于校准模型中的辅助类，它将误分类样本与正确分类样本分离，从而有效缓解目标 DNN 的“自信犯错”。我们还提出了 CCAC 的简化版本以减少自由参数并便于迁移到新的未见数据集。我们在不同 DNN 模型、数据集和应用上的实验表明，CCAC 能持续优于先前的事后校准方法。
引用
@article{arxiv.2006.08914,
title = {Calibrating Deep Neural Network Classifiers on Out-of-Distribution Datasets},
author = {Zhihui Shao and Jianyi Yang and Shaolei Ren},
journal= {arXiv preprint arXiv:2006.08914},
year = {2020}
}