可通过反向传播训练的深度生成随机网络
机器学习
2014-05-27 v5
摘要
我们提出了一种概率模型的新型训练原则，作为最大似然法的替代方案。所提出的生成随机网络（Generative Stochastic Networks, GSN）框架基于学习马尔可夫链的转移算子，其平稳分布用于估计数据分布。该马尔可夫链的转移分布以先前状态为条件，通常涉及微小的移动，因此该条件分布具有较少的主导模式，在微小移动的极限下呈单峰分布。因此，它更易于学习，因为其配分函数更易于近似，这更像学习执行监督函数逼近，且其梯度可通过反向传播（backprop）获得。我们提供了定理，推广了近期关于去噪自编码器概率解释的工作，并在此过程中为依赖网络和广义伪似然提供了有趣的理论依据，同时定义了即使在不一致的条件分布下也适用的联合分布和采样机制。GSN 可用于处理缺失输入，并可用于在给定其余变量的情况下对变量子集进行采样。我们通过在两个图像数据集上的实验验证了这些理论结果，所使用的架构模拟了深度玻尔兹曼机（Deep Boltzmann Machine）的吉布斯采样器，但允许通过简单的反向传播进行训练，无需逐层预训练。
引用
@article{arxiv.1306.1091,
title = {Deep Generative Stochastic Networks Trainable by Backprop},
author = {Yoshua Bengio and Éric Thibodeau-Laufer and Guillaume Alain and Jason Yosinski},
journal= {arXiv preprint arXiv:1306.1091},
year = {2014}
}
备注
arXiv admin note: text overlap with arXiv:1305.0445, Also published in ICML'2014