通过扰动训练受限玻尔兹曼机
神经与进化计算
2014-05-08 v1 机器学习
机器学习
摘要
本文介绍了一种新的离散图模型特别是受限玻尔兹曼机（RBM）的最大似然学习方法。我们的方法“扰动与下降”（Perturb and Descend, PD）受两个理念启发：(I) 用于采样的扰动与 MAP 方法，(II) 通过最小化对比散度进行学习。与扰动与 MAP 方法不同，PD 利用训练数据来学习那些不允许高效 MAP 估计的模型。在学习过程中，为了从当前模型生成样本，我们从训练数据出发，在“扰动模型”的能量景观中下降固定步数，或直到达到局部最优。对于 RBM，这涉及线性计算和阈值处理，速度非常快。此外，我们表明扰动量与温度参数密切相关，它可以通过产生鲁棒特征从而导致稀疏的隐藏层激活来正则化模型。
引用
@article{arxiv.1405.1436,
title = {Training Restricted Boltzmann Machine by Perturbation},
author = {Siamak Ravanbakhsh and Russell Greiner and Brendan Frey},
journal= {arXiv preprint arXiv:1405.1436},
year = {2014}
}