轻松训练高斯-伯努利受限玻尔兹曼机
机器学习
2022-10-20 v1 人工智能
机器学习
摘要
我们重新审视训练高斯-伯努利受限玻尔兹曼机（GRBMs）这一具有挑战性的问题，并引入两项创新。我们提出一种新颖的 Gibbs-Langevin 采样算法，其性能优于吉布斯采样等现有方法。我们提出一种改进对比散度（CD）算法，使得可以从噪声出发用 GRBMs 生成图像。这使得 GRBMs 能够与深度生成模型直接比较，改进了 RBM 文献中的评估协议。此外，我们表明改进 CD 与梯度裁剪足以以较大学习率鲁棒地训练 GRBMs，从而免除了文献中各种技巧的必要性。在 Gaussian Mixtures、MNIST、FashionMNIST 和 CelebA 上的实验表明，尽管只有单隐藏层架构，GRBMs 仍能生成良好样本。我们的代码发布于：\url{https://github.com/lrjconan/GRBM}。
引用
@article{arxiv.2210.10318,
title = {Gaussian-Bernoulli RBMs Without Tears},
author = {Renjie Liao and Simon Kornblith and Mengye Ren and David J. Fleet and Geoffrey Hinton},
journal= {arXiv preprint arXiv:2210.10318},
year = {2022}
}