基于贝叶斯深度网络的快速分类预测不确定性估计
机器学习
2022-06-01 v4 机器学习
摘要
在贝叶斯深度学习中，分类神经网络输出的分布通常通过先构造权重上的高斯分布，再从中采样以获得 softmax 输出上的分布来近似。这种做法代价高昂。我们重新审视早期工作（Laplace Bridge）以构造该 softmax 输出分布的 Dirichlet 近似，其给出了 logit 空间中高斯分布与输出空间中 Dirichlet 分布（类别分布的共轭先验）之间的解析映射。重要的是，原始 Laplace Bridge 存在某些局限。我们分析了这些局限并提出了一种简单的解决方案，其优于其他常用的 softmax-高斯积分估计方法。我们证明了所得的 Dirichlet 分布具有多重优势，特别是更高效地计算不确定性估计并可扩展至如 ImageNet 和 DenseNet 等大型数据集与网络。我们进一步通过将此 Dirichlet 近似用于构造 ImageNet 的轻量级不确定性感知输出排序，展示了其实用性。
引用
@article{arxiv.2003.01227,
title = {Fast Predictive Uncertainty for Classification with Bayesian Deep Networks},
author = {Marius Hobbhahn and Agustinus Kristiadi and Philipp Hennig},
journal= {arXiv preprint arXiv:2003.01227},
year = {2022}
}
备注
Updated version. Accepted for publication at UAI2022