受限玻尔兹曼机及相关学习动力学的热力学

我们研究了受限玻尔兹曼机（RBM）的热力学性质，这是一种在无监督学习背景下使用的简单基于能量的生成模型。假设该模型的信息内容主要由其权重矩阵 $W$ 的谱性质反映，我们尝试通过对适当的 RBM 统计系综取平均来进行 realistic 分析。首先，推导出一个相图。尽管与具有铁磁耦合的 Sherrington-Kirkpatrick（SK）模型相似，RBM 的相图呈现出一个铁磁相，该铁磁相可能具有、也可能不具有组合类型，这取决于 $W$ 的奇异向量各分量分布的峰度。随后，在热力学极限下研究了 RBM 的学习动力学。一个“典型”的学习轨迹被证明满足一个有效的动力学方程，该方程基于前述系综平均并显式地涉及由热力学分析得到的序参量。特别地，这使我们能够展示 $W$ 的主导奇异值（从而不稳定模式）的演化是如何由输入数据驱动的。在训练初期，RBM 被发现在线性区中运行，不稳定模式反映了数据的主导协方差模式。而在非线性区中，所选模式发生相互作用，并最终迫使序参量与根据数据估计的经验对应量相匹配。最后，我们通过在人工和真实数据上进行实验来说明我们的考量，特别展示了 RBM 如何在铁磁组合相中运行。