通过方差反向传播实现贝叶斯神经网络的免采样变分推断
机器学习
2019-06-13 v2 机器学习
摘要
我们提出了一种新的贝叶斯神经网络公式，其变分推断的证据下界在紧近似下可解析处理。我们通过以下方式实现这种可处理性：(i) 将 ReLU 非线性分解为恒等函数与 Heaviside 阶跃函数的乘积，(ii) 引入一条单独的路径，将神经网络期望与其方差分解开来。我们形式化地证明，对激活引入独立的潜在二元变量可将神经网络似然表示为线性运算的链。在此构造上执行变分推断可实现证据下界的免采样计算，该计算是比广泛应用的蒙特卡洛采样和与中心极限定理相关的技术更有效的近似。我们在一系列回归和分类任务上针对其他 BNN 推断方案评估了该模型，显示出相对于当前最先进方法的竞争性或更优性能。
引用
@article{arxiv.1805.07654,
title = {Sampling-Free Variational Inference of Bayesian Neural Networks by Variance Backpropagation},
author = {Manuel Haussmann and Fred A. Hamprecht and Melih Kandemir},
journal= {arXiv preprint arXiv:1805.07654},
year = {2019}
}
备注
Accepted at UAI 2019