受限 Boltzmann 机的重构以统一线性与非线性降维
机器学习
2026-05-27 v4 机器学习
摘要
受限 Boltzmann 机（RBM）是一种具有共享权重的双层神经网络，在文献中已被广泛研究用于降维、数据表示和推荐系统。传统 RBM 需要对两层上的取值进行概率解释，并在训练期间使用马尔可夫链蒙特卡洛（MCMC）过程来生成样本。对比散度（CD）能高效训练 RBM，但其收敛性尚未得到数学证明。本文中，利用最大后验（MAP）估计和期望最大化（EM）算法，我们证明无 MCMC 的 CD 算法对于条件似然目标函数是收敛的。本文的另一关键贡献是将 RBM 重构为一个确定性模型。在重构的 RBM 中，无 MCMC 的 CD 算法近似于梯度下降（GD）方法。该重构的 RBM 可接收节点上的连续标量和向量变量，并灵活选择激活函数。数值实验显示了其在线性与非线性降维中的能力，且对于非线性降维，重构的 RBM 可通过选择适当的激活函数优于主成分分析（PCA）。最后，我们展示了其对 CIFAR-10 数据集（彩色图像）和多元序列数据的向量值节点的应用，这些无法用传统 RBM 自然配置。本工作不仅提供了关于传统 RBM 的理论见解，还统一了标量与向量变量的线性与非线性降维。
引用
@article{arxiv.1909.08210,
title = {Reformulation of RBM to Unify Linear and Nonlinear Dimensionality Reduction},
author = {Jiangsheng You and Chun-Yen Liu},
journal= {arXiv preprint arXiv:1909.08210},
year = {2026}
}
备注
16 pages with 7 figures