基于能量的模型训练中的级联相变
机器学习
2025-02-11 v4 无序系统与神经网络
统计力学
摘要
本文中，我们研究了一个典型的基于能量的生成模型——受限玻尔兹曼机(RBM)中的特征编码过程。我们从使用简化架构和数据结构的分析研究开始，最后以在真实数据集上实际训练的数值分析结束。我们的研究通过奇异值分解追踪模型权重矩阵的演化，揭示了一系列与经验概率分布主模的逐步学习相关的相变。模型首先学习模式的质心，然后通过级联相变逐步解析所有模式。我们首先在一个受控设置中分析性地描述这一过程，该设置允许我们分析性地研究训练动力学。然后，我们通过在真实数据集上训练伯努利-伯努利RBM来验证我们的理论结果。通过使用维度递增的数据集，我们证明学习确实在高维极限下导致尖锐的相变。此外，我们提出并测试了一个平均场有限尺寸标度假说。这表明第一个相变与我们分析研究的相变属于同一普适类，并且让人联想到平均场顺磁-铁磁相变。
引用
@article{arxiv.2405.14689,
title = {Cascade of phase transitions in the training of Energy-based models},
author = {Dimitrios Bachtis and Giulio Biroli and Aurélien Decelle and Beatriz Seoane},
journal= {arXiv preprint arXiv:2405.14689},
year = {2025}
}
备注
19 pages, 6 figures, accepted to Neurips2024