高斯-球面受限玻尔兹曼机
无序系统与神经网络
2023-07-17 v1 统计力学
机器学习
摘要
我们考虑一种特殊类型的受限玻尔兹曼机(RBM),即高斯-球面 RBM,其中可见单元具有高斯先验,而隐变量向量被约束停留在 球面上。球面约束具有可容许精确渐近处理的优势,仅基于耦合矩阵(亦称 RBM 的权重矩阵)的谱性质即可明确识别各种缩放机制。顺便指出,这些机制形式上与处理零程过程空间凝聚的不同情境中获得的类似缩放行为相关。更具体地,当耦合矩阵谱二重退化时,可提出精确处理以应对有限尺寸效应。有趣的是,球面模型的铁磁相变与玻色-爱因斯坦凝聚之间的已知平行关系可在该情形下明确显现。更重要的是,这使我们能够以任意精度提取 RBM 训练算法所需的所有响应函数。这随后使我们能够精确地数值积分学习过程中权重矩阵谱的动力学。该动力学尤其揭示了耦合矩阵的 Marchenko-Pastur 奇异向量体中模式的顺序涌现。
引用
@article{arxiv.1910.14544,
title = {Gaussian-Spherical Restricted Boltzmann Machines},
author = {Aurélien Decelle and Cyril Furtlehner},
journal= {arXiv preprint arXiv:1910.14544},
year = {2023}
}
备注
27 pages, 8 figures