统一具有 Bernoulli 或 Gaussian 输入的受限玻尔兹曼机的随机谱下降
机器学习
2017-04-07 v1 机器学习
摘要
基于随机梯度下降的算法通常被用作大多数深度学习模型的通用优化工具。受限玻尔兹曼机（Restricted Boltzmann Machine, RBM）是一种概率生成模型，可堆叠以构建深度架构。对于具有 Bernoulli 输入的 RBM，已专门设计了非欧几里得算法（如随机谱下降（Stochastic Spectral Descent, SSD）），通过改进采样方法对梯度的估计来加速收敛。然而，现有算法及相应的理论证明依赖于输入的可能配置是有限的假设，如二元变量。本文旨在将 SSD 推广至能够建模连续数据的 Gaussian RBM，而不受先前假设的限制。通过基于 Schatten-无穷范数推导 RBM 对数配分函数的上界，我们提出了参数非欧几里得空间中的梯度下降方法。实证展示了 SSD 相对于随机梯度下降（Stochastic Gradient Descent, SGD）的优势与改进。
引用
@article{arxiv.1703.09766,
title = {Unifying the Stochastic Spectral Descent for Restricted Boltzmann Machines with Bernoulli or Gaussian Inputs},
author = {Kai Fan},
journal= {arXiv preprint arXiv:1703.09766},
year = {2017}
}