理解不同动力学下受限玻尔兹曼机的最小概率流学习
机器学习
2015-04-09 v6
摘要
基于能量的模型因其公式的优雅性及其与统计物理学的联系而在机器学习中广受欢迎。其中，受限玻尔兹曼机（RBM）及其主要的训练算法对比散度（CD），已成为深度神经网络无监督训练中一些最新进展的原型。然而，CD的理论动机有限，且在某些情况下可能产生不良行为。本文研究了最小概率流（MPF）学习在训练RBM时的性能。与CD通过吉布斯采样来近似难以处理的配分函数不同，MPF提出了一个易于处理、一致的、基于KL散度关于采样动力学的泰勒展开定义的目标函数。本文为MPF中的采样动力学提出了一个更一般的形式，并探讨了这些动力学的不同选择对训练RBM的影响。实验结果表明，对于多种RBM配置，MPF的性能优于CD。
引用
@article{arxiv.1412.6617,
title = {Understanding Minimum Probability Flow for RBMs Under Various Kinds of Dynamics},
author = {Daniel Jiwoong Im and Ethan Buchman and Graham W. Taylor},
journal= {arXiv preprint arXiv:1412.6617},
year = {2015}
}
备注
Nine pages including the reference page plus one page appendix. Appeared at ICLR2015 workshop track