先验对受限玻尔兰曼机学习的影响
无序系统与神经网络
2026-02-02 v2 机器学习
摘要
受限玻尔兰曼机（RBMs）是一种旨在从数据中学习具有丰富内部结构的生成模型。在本研究中，我们探讨了在教师-学生设置下进行学习的情形，即学生 RBM 从教师 RBM 生成的示例中学习，重点关注单位先验对学习效率的影响。我们考虑了一种参数化的先验类，它在连续（高斯）和二进制变量之间进行插值。这种方法模拟了可见单位、隐藏单位以及教师和学生 RBM 的权重的各种可能选择。通过分析后验分布在 Bayes 最优和不匹配情形下的相图，我们展示了三相点（triple point）的存在，这一点定义了通过泛化实现学习所必需的临界数据规模。临界规模强烈受教师属性的影响，因而受数据属性影响，但对学生 RBM 的属性影响不大。尽管如此，选择得当的学生先验可以通过扩大所谓的信号检索区域（即机器有效泛化的区域）来促进训练。
引用
@article{arxiv.2412.02623,
title = {The effect of priors on Learning with Restricted Boltzmann Machines},
author = {Gianluca Manzan and Daniele Tantari},
journal= {arXiv preprint arXiv:2412.02623},
year = {2026}
}
备注
Accepted for publication in Physica A, Volume 674, 130766. -Added references -Corrected typos -Revised section 3, with Monte Carlo simulations supporting the results (unchanged)