基于概率反向传播变分 EP 的贝叶斯神经网络
机器学习
2023-03-06 v1 机器学习
摘要
我提出一种使用两层神经网络(NN)模型结构并对网络权重施加层次先验的非线性 Logistic 回归新方法。我提出一种称为变分期望传播(VEP)的期望传播混合方法,用于对权重、先验的层次尺度参数以及 zeta 的后验分布进行近似积分。利用因子化后验近似,我推导出一种计算高效的算法,其复杂度与一组独立的稀疏 Logistic 模型的集成相似。该方法可超越标准激活函数与 NN 模型结构,由多个稀疏线性模型构成灵活的非线性二分类预测器。我考虑了一个以 Logistic 回归似然及关于称为权重与超参数的参数的高斯先验分布的层次贝叶斯模型。我以 E 步与 M 步的视角分别进行计算近似后验与利用计算所得后验更新参数。
引用
@article{arxiv.2303.01540,
title = {Variational EP with Probabilistic Backpropagation for Bayesian Neural Networks},
author = {Kehinde Olobatuyi},
journal= {arXiv preprint arXiv:2303.01540},
year = {2023}
}
备注
arXiv admin note: substantial text overlap with arXiv:1303.6938 by other authors; text overlap with arXiv:1502.05336 by other authors without attribution