深度生成模型的逐层学习
神经与进化计算
2013-02-19 v2 机器学习
机器学习
摘要
当使用深层多层架构构建数据的生成模型时，同时训练所有层是困难的。我们提出了一种逐层训练过程，该过程相对于全局最优解具有性能保证。它基于对未来性能的乐观代理——最佳潜在边际。在此设定下，我们将自编码器解释为生成模型，通过证明它们训练了该准则的一个下界。我们将新的学习过程与最先进的方法（堆叠RBM）进行了比较，发现它提高了性能。理论和实验都强调了在训练深层架构时，使用比生成模型（从隐藏变量到数据）更丰富的推理模型（从数据到隐藏变量）的重要性。
引用
@article{arxiv.1212.1524,
title = {Layer-wise learning of deep generative models},
author = {Ludovic Arnold and Yann Ollivier},
journal= {arXiv preprint arXiv:1212.1524},
year = {2013}
}