信念网络中的神经变分推断与学习
机器学习
2016-06-06 v2 机器学习
摘要
高表达力的有向潜变量模型（如 Sigmoid 信念网络）难以在大规模数据集上进行训练，因为其中的精确推断是不可行的，且已应用于它们的近似推断方法均无法良好扩展。我们提出了一种快速的非迭代近似推断方法，该方法使用前馈网络来实现从变分后验中进行高效精确采样。该模型与此推断网络通过最大化对数似然的变分下界进行联合训练。尽管推断模型梯度的朴素估计量方差过高而无法实用，但我们通过应用几种简单的与模型无关的方差缩减技术使其变得可行。将我们的方法应用于训练 Sigmoid 信念网络和深度自回归网络，结果表明其在 MNIST 数据集上优于 wake-sleep 算法，并在 Reuters RCV1 文档数据集上取得了 state-of-the-art 的结果。
引用
@article{arxiv.1402.0030,
title = {Neural Variational Inference and Learning in Belief Networks},
author = {Andriy Mnih and Karol Gregor},
journal= {arXiv preprint arXiv:1402.0030},
year = {2016}
}