深度确定性不确定性：一个简单基线
机器学习
2022-01-31 v3 机器学习
摘要
由于传统的的不确定性量化方法计算代价高昂，来自确定性单前向传播模型的可靠不确定性备受青睐。我们选取两种复杂的单前向传播不确定性方法DUQ与SNGP，考察它们是否主要依赖于良好正则化的特征空间。关键在于，在不使用其更复杂的不确定性估计方法的情况下，通过残差连接与谱归一化获得此类特征空间的单一softmax神经网络，利用简单的高斯判别分析*训练后*作为独立特征空间密度估计器，*优于*DUQ与SNGP的认知不确定性预测——无需在OoD数据上微调、特征集成或输入预处理。这一概念上简单的*深度确定性不确定性（DDU）*基线也可用于解耦偶然与认知不确定性，并在多个OoD基准（CIFAR-10/100对比SVHN/Tiny-ImageNet、ImageNet对比ImageNet-O）以及跨不同模型架构的主动学习设置中表现与不确定性预测最优的Deep Ensembles相当，却*计算更省*。
引用
@article{arxiv.2102.11582,
title = {Deep Deterministic Uncertainty: A Simple Baseline},
author = {Jishnu Mukhoti and Andreas Kirsch and Joost van Amersfoort and Philip H. S. Torr and Yarin Gal},
journal= {arXiv preprint arXiv:2102.11582},
year = {2022}
}