MuProp：用于随机神经网络的无偏反向传播
机器学习
2016-02-26 v3
摘要
深度神经网络是强大的参数化模型，可使用反向传播算法高效训练。随机神经网络将大型参数化函数的能力与图模型的能力相结合，使得学习非常复杂的分布成为可能。然而，由于反向传播不能直接应用于在其计算图中包含离散采样操作的随机网络，训练此类网络仍然困难。我们提出 MuProp，一种用于随机网络的无偏梯度估计器，旨在使该任务更容易。MuProp 通过基于平均场网络一阶泰勒展开的控制变量减少似然比估计器的方差来改进它。关键的是，与之前使用反向传播训练随机网络的尝试不同，所得估计器是无偏且表现良好的。我们在结构化输出预测和离散潜变量建模上的实验表明，MuProp 在一系列困难任务上产生了一致良好的性能。
引用
@article{arxiv.1511.05176,
title = {MuProp: Unbiased Backpropagation for Stochastic Neural Networks},
author = {Shixiang Gu and Sergey Levine and Ilya Sutskever and Andriy Mnih},
journal= {arXiv preprint arXiv:1511.05176},
year = {2016}
}
备注
Published as a conference paper at ICLR 2016