具有单隐藏层的贝叶斯神经网络的闭式变分目标
机器学习
2018-12-04 v2 机器学习
摘要
在本笔记中，我们考虑能够闭式计算贝叶斯神经网络变分目标的情形。我们特别关注激活函数为分段多项式（例如 ReLU）的单层网络。在这种情况下，我们证明对于正态似然与结构化正态变分分布，可以闭式计算变分下界。此外，我们闭式计算了预测均值与方差。最后，我们还展示了如何对其他似然（例如 softmax 分类）计算近似下界。在实验中，我们展示了所得变分目标如何有助于改善训练并提供快速测试时预测。
引用
@article{arxiv.1811.00686,
title = {Closed Form Variational Objectives For Bayesian Neural Networks with a Single Hidden Layer},
author = {Martin Jankowiak},
journal= {arXiv preprint arXiv:1811.00686},
year = {2018}
}
备注
Bayesian Deep Learning Workshop @ NeurIPS 2018; 11 pages