深度退火 (Deep Tempering)
机器学习
2014-10-02 v1 机器学习
摘要
受限玻尔兹曼机 (RBMs) 是深度学习的基本构建模块之一。RBMs 的近似最大似然训练通常需要从这些模型中进行采样。在许多训练场景中，计算高效的 Gibbs 采样过程因混合性差而受到限制。在本文中，我们提出了一种从玻尔兹曼机采样的新方法，该方法展示了一种促进混合的计算高效途径。我们的方法利用了深度生成模型（如深度信念网络 DBN）中一个被低估的特性，即从潜在变量层次结构的更深层进行 Gibbs 采样会显著增加遍历性。因此，我们的方法是训练一个基于 DBN 的辅助潜在层次模型。当与并行退火 (parallel-tempering) 结合使用时，该方法在渐近意义上保证能模拟出目标 RBM 的样本。实验结果证实了该采样策略在 RBM 训练背景下的有效性。
引用
@article{arxiv.1410.0123,
title = {Deep Tempering},
author = {Guillaume Desjardins and Heng Luo and Aaron Courville and Yoshua Bengio},
journal= {arXiv preprint arXiv:1410.0123},
year = {2014}
}