将梯度作为神经网络不确定性的度量
计算机视觉与模式识别
2020-09-07 v2
摘要
尽管现代神经网络取得了巨大成功，但已知它们在模型遇到陌生条件输入时仍会过度自信。检测此类输入对于防止模型做出可能危及神经网络实际应用的幼稚预测至关重要。在本文中，我们致力于解决设计一种简单而有效的深度神经网络不确定性度量的挑战性问题。具体而言，我们提出利用反向传播的梯度来量化已训练模型的不确定性。梯度刻画了模型为恰当表示给定输入所需的改变量，从而就模型对输入熟悉与确定的程度提供了有价值的洞察。我们在检测陌生输入（包括分布外与 corrupted 样本）的应用中展示了梯度作为模型不确定性度量的有效性。我们表明，我们的基于梯度的方法在分布外检测上以最高 4.8% 的 AUROC 分数、在 corrupted 输入检测上以 35.7% 优于最先进的方法。
引用
@article{arxiv.2008.08030,
title = {Gradients as a Measure of Uncertainty in Neural Networks},
author = {Jinsol Lee and Ghassan AlRegib},
journal= {arXiv preprint arXiv:2008.08030},
year = {2020}
}
备注
IEEE International Conference on Image Processing (ICIP) 2020