利用受限玻尔兹曼机学习：高维空间中 AMP 与 GD 的渐近分析
机器学习
2025-11-13 v1 无序系统与神经网络
机器学习
摘要
受限玻尔兹曼机（RBM）是最简单的能够学习输入分布的生成神经网络之一。尽管其结构简单，但其在从训练数据中学习的性能分析仅在本质上等价于数据奇异值分解的情形下才有较好的理解。本文考虑输入空间维度很大而隐藏单元数量为常数的极限情形。在该极限下，我们将标准的 RBM 训练目标简化为一种等价于带不可分离正则化的多指标模型的形式。这为利用多指标模型已有的方法（如近似消息传递（AMP）及其状态演化，以及通过动力学平均场理论分析梯度下降（GD））来分析 RBM 的训练开辟了路径。随后，我们以尖峰协方差模型作为无监督学习适用结构的原型，给出了 RBM 在该模型生成数据上的训练动力学严格渐近分析。我们特别表明，RBM 达到了最优的计算弱恢复阈值，与尖峰协方差模型中的 BBP（Baik-Ben Arous-Péché）转变一致。
引用
@article{arxiv.2505.18046,
title = {Learning with Restricted Boltzmann Machines: Asymptotics of AMP and GD in High Dimensions},
author = {Yizhou Xu and Florent Krzakala and Lenka Zdeborová},
journal= {arXiv preprint arXiv:2505.18046},
year = {2025}
}