用于受限玻尔兹曼机随机最大似然学习的自适应并行回火
机器学习
2010-12-17 v1 神经与进化计算
摘要
受限玻尔兹曼机作为深度网络的主要构建模块之一，近来引起了广泛关注。然而，由于配分函数的难解性，训练RBM仍然存在问题。最大似然梯度需要一个非常稳健的采样器，该采样器能够在学习过程中经常发生的遍历性丧失的情况下，从模型中准确采样。虽然在随机最大似然（SML-PT）的负相位中使用并行回火有助于解决这个问题，但它引入了计算复杂性和高遍历性之间的权衡，并且需要仔细手动调整温度。在本文中，我们表明这种权衡是不必要的。可以通过最小化平均返回时间（由[Katzgraber et al., 2006]首次提出的概念）来自动化最优温度的选择，同时可以根据需要动态生成链，从而最小化计算开销。我们在一个合成数据集上证明，这导致了更好的似然分数。
引用
@article{arxiv.1012.3476,
title = {Adaptive Parallel Tempering for Stochastic Maximum Likelihood Learning of RBMs},
author = {Guillaume Desjardins and Aaron Courville and Yoshua Bengio},
journal= {arXiv preprint arXiv:1012.3476},
year = {2010}
}
备注
Presented at the "NIPS 2010 Workshop on Deep Learning and Unsupervised Feature Learning"