重新审视神经网络中用于预测不确定性与分布外检测的一对多分类器
机器学习
2020-07-13 v1 机器学习
摘要
在现代神经网络中准确估计预测不确定性，对于实现良好校准的预测并检测分布外（OOD）输入至关重要。最有前景的方法主要集中于改进模型不确定性（例如深度集成与贝叶斯神经网络）以及用于OOD检测的后处理技术（例如ODIN与马氏距离）。然而，关于判别分类器中概率的参数化方式如何影响不确定性估计的研究相对较少，且主流方法softmax交叉熵会在OOD数据及协变量偏移下给出误导性的高置信度。我们研究了使用（1）一对多公式来捕捉“以上皆非”的概念，以及（2）基于距离的对数几率表示将不确定性编码为到训练流形距离的函数，这两种替代性的概率表述方式。我们表明，一对多公式可改善图像分类任务上的校准，同时在无需额外训练或测试时间复杂度的前提下匹配softmax的预测性能。
引用
@article{arxiv.2007.05134,
title = {Revisiting One-vs-All Classifiers for Predictive Uncertainty and Out-of-Distribution Detection in Neural Networks},
author = {Shreyas Padhy and Zachary Nado and Jie Ren and Jeremiah Liu and Jasper Snoek and Balaji Lakshminarayanan},
journal= {arXiv preprint arXiv:2007.05134},
year = {2020}
}