随机神经网络中非线性的概率框架
机器学习
2017-09-20 v1 机器学习
摘要
我们提出了一种基于双重截断高斯分布的非线性概率框架。通过适当设置截断点，我们能够在统一框架内生成多种类型的非线性，包括神经网络中最常用的 sigmoid、tanh 和 ReLU。该框架可无缝集成到现有的随机神经网络（其隐单元被表征为随机变量）中，首次允许在这些网络中与模型权重一同学习非线性。大量实验表明，所提出的框架在与受限玻尔兹曼机（RBM）、时序 RBM 和截断高斯图模型（TGGM）集成时带来了性能提升。
引用
@article{arxiv.1709.06123,
title = {A Probabilistic Framework for Nonlinearities in Stochastic Neural Networks},
author = {Qinliang Su and Xuejun Liao and Lawrence Carin},
journal= {arXiv preprint arXiv:1709.06123},
year = {2017}
}