基于梯度信息的深度神经网络分类不确定性
机器学习
2018-07-27 v2 人工智能
计算机视觉与模式识别
机器学习
摘要
我们研究了基于梯度度量的卷积神经网络（CNNs）不确定性量化。与经典的 softmax 熵不同，此类度量从 CNN 的所有层收集信息。我们针对 EMNIST 数字数据集表明，对于若干此类度量，我们达到了与熵阈值化相同的元分类准确率——即在不知真实标签的情况下将预测分类为正确或错误的任务。我们将元分类应用于未知概念（分布外样本）——EMNIST/Omniglot 字母、CIFAR10 和噪声——并证明当使用熵与若干基于梯度的度量作为元分类器的输入量时，未知概念的元分类率可得以提高。仅在已知概念（即 EMNIST 数字）的不确定性度量上训练的元分类器，通常对所有未知概念表现并不等同良好。然而，如果我们允许元分类器在某些分布外样本的的不确定性度量上训练，则对于远离 EMNIST 数字的概念（此后称为已知未知）的元分类可显著改善。
引用
@article{arxiv.1805.08440,
title = {Classification Uncertainty of Deep Neural Networks Based on Gradient Information},
author = {Philipp Oberdiek and Matthias Rottmann and Hanno Gottschalk},
journal= {arXiv preprint arXiv:1805.08440},
year = {2018}
}