RBM 能否以零步对比散度训练？
机器学习
2022-11-07 v1
摘要
受限玻尔兹曼机（RBMs）是概率生成模型，原则上可通过最大似然训练，但实践中通常用一种称为对比散度（CD）的近似算法训练。一般而言，CD-k 算法利用从某初始构型出发的 k 步马尔可夫链蒙特卡洛算法（如块 Gibbs 采样）所得样本，来估计关于模型分布的平均值。k 的取值通常介于 1 到 100 之间。本技术报告探讨是否能借助一种简单近似采样算法与改进版 CD，以 k=0 训练 RBM。按惯例，该方法在 MNIST 上予以说明。
引用
@article{arxiv.2211.02174,
title = {Can RBMs be trained with zero step contrastive divergence?},
author = {Charles K. Fisher},
journal= {arXiv preprint arXiv:2211.02174},
year = {2022}
}