利用相关参数精确度量深度神经网络中的不确定性
机器学习
2019-04-03 v1 计算机视觉与模式识别
机器学习
摘要
本文提出了一种使用贝叶斯技术训练深度神经网络的新方法。贝叶斯方法便于评估模型不确定性，并且对过拟合具有鲁棒性。这两点通常是经典（即非贝叶斯）架构所面临的两个主要问题。所提出的方法应用变分推断来近似难以处理的后验分布。具体而言，变分分布被定义为多个具有三对角协方差矩阵的多变量正态分布的乘积。每个单独的正态分布属于某一网络层的权重或偏置。逐层的后验方差基于相应的期望值定义，并且进一步假设相关性是相同的。因此，与非贝叶斯设置相比，仅需优化少量额外参数。该方法在流行的基准数据集 MNIST 和 CIFAR-10 上得到了成功评估。
引用
@article{arxiv.1904.01334,
title = {Correlated Parameters to Accurately Measure Uncertainty in Deep Neural Networks},
author = {Konstantin Posch and Jürgen Pilz},
journal= {arXiv preprint arXiv:1904.01334},
year = {2019}
}