具有单调激活函数的随机神经网络
机器学习
2016-07-25 v4 机器学习
神经与进化计算
摘要
我们提出了一种拉普拉斯近似方法，仅使用高斯噪声即可从任意光滑单调激活函数创建随机单元。本文研究了该随机近似在一类受限玻尔兹曼机（RBM）训练中的应用，这类RBM与Bregman散度密切相关。我们将这一族称为指数族RBM（Exp-RBM），它是指数族Harmoniums的一个子集，通过为每个神经元选择光滑单调非线性函数来表达族成员。利用对比散度结合我们的高斯近似，我们表明Exp-RBM可以利用新型随机单元学习有用的表示。
引用
@article{arxiv.1601.00034,
title = {Stochastic Neural Networks with Monotonic Activation Functions},
author = {Siamak Ravanbakhsh and Barnabas Poczos and Jeff Schneider and Dale Schuurmans and Russell Greiner},
journal= {arXiv preprint arXiv:1601.00034},
year = {2016}
}
备注
AISTATS 2016