利用凸函数之差优化学习高斯-伯努利受限玻尔兹曼机
机器学习
2021-02-15 v1
摘要
高斯-伯努利受限玻尔兹曼机（GB-RBM）是一种有用的生成模型，可从给定的 维连续数据中捕捉有意义的特征。早期研究广泛报道了与学习 GB-RBM 相关的困难。它们指出，使用当前标准算法（即对比散度（CD）和持续对比散度（PCD））训练 GB-RBM 需要精心选择较小的学习率以避免发散，而这又导致学习缓慢。在本工作中，我们通过证明若保持可见单元条件分布（给定隐单元状态时）的方差与可见单元的偏置为常数，则 GB-RBM 的负对数似然可表示为凸函数之差，从而缓解此类困难。利用这一点，我们提出了一种随机凸函数之差（DC）规划（S-DCP）算法用于学习 GB-RBM。我们在多个基准数据集上进行了广泛的实证研究以验证该 S-DCP 算法的性能。可见 S-DCP 在学习速度和学习所得生成模型的质量方面均优于 CD 和 PCD 算法。
引用
@article{arxiv.2102.06228,
title = {Learning Gaussian-Bernoulli RBMs using Difference of Convex Functions Optimization},
author = {Vidyadhar Upadhya and P S Sastry},
journal= {arXiv preprint arXiv:2102.06228},
year = {2021}
}
备注
Submitted to IEEE-TNNLS