利用协方差估计高效学习受限玻尔兹曼机
机器学习
2019-10-02 v2 机器学习
摘要
使用诸如CD(k)等标准算法学习RBM涉及对负对数似然的梯度下降。梯度中的一项涉及对模型分布的期望，是不可处理的，并通过MCMC估计获得。在本文工作中，我们表明对数似然的Hessian可用隐单元与可见单元的协方差表示，因此Hessian的所有元素也可利用相同的MCMC样本以较小的额外计算成本估计。由于求逆Hessian可能计算昂贵，我们提出一种算法，改用Hessian对角近似的逆。这本质上为梯度下降过程带来了参数特定的自适应学习率，并相比标准方法提高了学习RBM的效率。具体而言，我们表明在随机DC（凸差函数）规划方法中利用Hessian对角近似的逆可实现非常高效的RBM学习。
引用
@article{arxiv.1810.10777,
title = {Efficient Learning of Restricted Boltzmann Machines Using Covariance Estimates},
author = {Vidyadhar Upadhya and P. S. Sastry},
journal= {arXiv preprint arXiv:1810.10777},
year = {2019}
}
备注
Proceedings of Asian Conference on Machine Learning 2019