受限玻尔兹曼机的熵、自由能与功

受限玻尔兹曼机是一种生成式概率图网络。网络处于某一构型的概率由玻尔兹曼分布给出。给定训练数据，其学习通过优化网络能量函数的参数来完成。本文从统计物理的角度分析了受限玻尔兹曼机的训练过程。作为示例，针对小尺寸条棒图案，我们计算了熵、自由能和内能等热力学量随训练轮次的变化。我们证明了随着训练进行，可见层与隐藏层之间的关联性通过熵的次可加性而增长。利用可见向量与隐藏向量在构型空间中轨迹的蒙特卡洛模拟，我们还计算了通过切换能量函数参数而对受限玻尔兹曼机所做功的分布。我们讨论了连接功的指数函数路径平均与训练前后自由能差的 Jarzynski 等式。