受限玻尔兹曼机学习的谱动力学
无序系统与神经网络
2018-01-17 v2 统计力学
机器学习
摘要
基于实证观察，我们为受限玻尔兹曼机（RBM）的权重矩阵提出了一种通用的统计集合，并刻画了其平均演化。这使我们能够展示在线性区间中——RBM在训练初期即被发现处于该区间——数据的统计特性如何驱动权重矩阵不稳定模式的选择。随后推导出一组刻画非线性区间的方程，在某种程度上揭示了所选模式在学习后期如何相互作用，并为RBM定义了一条确定性的学习曲线。
引用
@article{arxiv.1708.02917,
title = {Spectral Dynamics of Learning Restricted Boltzmann Machines},
author = {Aurélien Decelle and Giancarlo Fissore and Cyril Furtlehner},
journal= {arXiv preprint arXiv:1708.02917},
year = {2018}
}