基于DC规划方法学习RBM
机器学习
2017-10-06 v2 机器学习
摘要
通过利用RBM对数似然函数为凸函数之差的性质，我们提出了一种差凸函数（DC）规划的随机变体以最小化负对数似然。有趣的是，传统的对比散度算法是上述公式的一个特例，并且可以选择两种算法的超参数使得每个小批次的计算量相同。我们表明，在给定计算预算下，与标准对比散度算法相比，所提出的算法几乎总是能更快地达到更高的对数似然。此外，我们修改该算法以使用中心梯度，并表明在基准数据集上，与标准中心梯度算法相比，它更高效且更有效。
引用
@article{arxiv.1709.07149,
title = {Learning RBM with a DC programming Approach},
author = {Vidyadhar Upadhya and P. S. Sastry},
journal= {arXiv preprint arXiv:1709.07149},
year = {2017}
}
备注
Accepted in ACML2017