具有通用先验的受限玻尔兹曼机中的相变
无序系统与神经网络
2017-11-01 v2 机器学习
数据分析、统计与概率
机器学习
摘要
我们研究了具有单元和权重通用先验的广义受限玻尔兹曼机，其可在布尔变量与高斯变量之间进行插值。我们对这些系统的复制对称相图进行了完整的分析，这些系统可被视为广义 Hopfield 模型。我们强调了检索相在推理和学习过程中的作用，并表明对于一大类权重和单元先验，在标准 Hopfield 场景之外，检索依然具有鲁棒性。此外，我们展示了在无监督学习的师生场景中，顺磁相边界如何与实现良好泛化所需的训练集最优规模直接相关。
关键词
引用
@article{arxiv.1612.03132,
title = {Phase transitions in Restricted Boltzmann Machines with generic priors},
author = {Adriano Barra and Giuseppe Genovese and Peter Sollich and Daniele Tantari},
journal= {arXiv preprint arXiv:1612.03132},
year = {2017}
}
备注
5 pages, 4 figures; extensive simulations and 2 new figures added; corrected typos; added references