使用中心化深度玻尔兹曼机学习特征层次结构
机器学习
2012-12-19 v1 人工智能
机器学习
摘要
深度玻尔兹曼机原则上是从数据中提取层次化结构的强大模型。遗憾的是，联合训练各层（不采用贪婪的逐层预训练）的尝试大多未能成功。我们提出一种对学习算法的改进，该改进在初始时将激活函数的输出重新中心化至零。这一改进导致更好的条件化 Hessian 矩阵，从而使学习变得更容易。我们在真实数据上测试了该算法，并证明我们提出的中心化深度玻尔兹曼机能够学习到日益抽象的表示层次结构以及一个更好的数据生成模型。
引用
@article{arxiv.1203.3783,
title = {Learning Feature Hierarchies with Centered Deep Boltzmann Machines},
author = {Grégoire Montavon and Klaus-Robert Müller},
journal= {arXiv preprint arXiv:1203.3783},
year = {2012}
}