概率反向传播用于贝叶斯神经网络的可扩展学习
机器学习
2015-07-16 v2
摘要
通过反向传播训练的大型多层神经网络最近在广泛的问题上取得了最先进的成果。然而，使用反向传播进行神经网络学习仍存在一些缺点，例如需要针对数据调整大量超参数、缺乏校准的概率预测，以及倾向于过拟合训练数据。从原理上讲，神经网络学习的贝叶斯方法不存在这些问题。然而，现有的贝叶斯技术缺乏对大规模数据集和网络规模的可扩展性。在本工作中，我们提出了一种名为概率反向传播（PBP）的新型可扩展方法，用于学习贝叶斯神经网络。与经典反向传播类似，PBP通过前向传播概率通过网络，然后进行反向梯度计算。一系列在十个真实数据集上的实验表明，PBP显著快于其他技术，同时提供了具有竞争力的预测能力。我们的实验还表明，PBP能够准确估计网络权重的后验方差。
引用
@article{arxiv.1502.05336,
title = {Probabilistic Backpropagation for Scalable Learning of Bayesian Neural Networks},
author = {José Miguel Hernández-Lobato and Ryan P. Adams},
journal= {arXiv preprint arXiv:1502.05336},
year = {2015}
}