受限玻尔兹曼机的模式辅助无监督学习
机器学习
2020-11-03 v2 机器学习
摘要
受限玻尔兹曼机（RBMs）是一类强大的生成模型，但其训练需要计算一个梯度，与典型损失函数上的有监督反向传播不同，该梯度即便近似也出了名的困难。在此，我们表明，将标准梯度更新与由 RBM 基态（模式）样本构造的离梯度方向适当结合，相比传统梯度方法能极大地改善其训练。我们将这种方法称为模式训练（mode training），它除了更低的收敛相对熵（KL 散度）外，还促进了更快的训练与稳定性。连同该方法的稳定性与收敛性证明，我们还在合成数据集（可精确计算 KL 散度）以及更大的机器学习标准数据集 MNIST 上展示了其有效性。我们提出的模式训练非常通用，因为它可与任意给定梯度方法结合使用，并且容易扩展到更一般的基于能量的神经网络结构，如深度、卷积和非受限玻尔兹曼机。
引用
@article{arxiv.2001.05559,
title = {Mode-Assisted Unsupervised Learning of Restricted Boltzmann Machines},
author = {Haik Manukian and Yan Ru Pei and Sean R. B. Bearden and Massimiliano Di Ventra},
journal= {arXiv preprint arXiv:2001.05559},
year = {2020}
}
备注
28 pages, 4 figures. Revision: Updated footnote format