球面玻尔兹曼机：能量基模型中学习与生成可解理论
机器学习
2026-05-12 v1
摘要
能量基模型（EBMs）是受统计物理启发的灵活生成式架构，但其学习与生成特性仍鲜有了解。本文分析了一种在高维极限下可解的EBM：球面玻尔兹曼机（SBM）。我们结合随机矩阵理论和动力学均场理论工具：求解描述SBM训练动力学的精确方程；计算贝叶斯证据（作为参数空间中的配分函数，编码训练后模型的全局属性）；并揭示训练过程中及其超参数函数中出现的相态跃迁级联，这些跃迁与耦合矩阵顶级模式对数据的依次对齐与凝聚相关。我们将这些跃迁连接到教师-学生场景下的采样时间生成现象，包括：采样温度调谐、正则化强度函数上的双下降、温和后验效应，以及在训练过程中超平衡效应导致模型偏差。我们提供数值证据表明，这些现象在标准生成式架构中也会出现，超出SBM。
引用
@article{arxiv.2605.09031,
title = {Spherical Boltzmann machines: a solvable theory of learning and generation in energy-based models},
author = {Thomas Tulinski and Simona Cocco and Rémi Monasson and Jorge Fernandez-De-Cossio-Diaz},
journal= {arXiv preprint arXiv:2605.09031},
year = {2026}
}