关于贝叶斯网络中随机变分推断的收敛性
机器学习
2015-07-17 v1
摘要
我们强调了将随机变分推断应用于一般贝叶斯网络时的一个陷阱。对于由指数族分布近似的全局随机变量，通常从单位步长开始的自然梯度步会被平均至收敛。当近似在一般贝叶斯网络上进行因式分解时，这种关于初始步长缩放的有用见解便会丢失，必须小心以确保实际收敛。我们通过实验研究了在倒掉洗澡水（精确梯度）的同时，有多少婴儿（良好缩放的步长）也被一起倒掉了。
引用
@article{arxiv.1507.04505,
title = {On the Convergence of Stochastic Variational Inference in Bayesian Networks},
author = {Ulrich Paquet},
journal= {arXiv preprint arXiv:1507.04505},
year = {2015}
}
备注
NIPS 2014 Workshop on Advances in Variational Inference. Montreal, Canada