受限玻尔兹曼机交替吉布斯采样中的能垒与动力学路径
无序系统与神经网络
2021-10-27 v2 统计力学
机器学习
摘要
受限玻尔兹曼机（RBM）是用于从数据中无监督学习模型分布的双层神经网络。RBM 的二分架构自然定义了一种优雅的采样过程，称为交替吉布斯采样（AGS），其中潜变量层的构型以数据变量层为条件进行采样，反之亦然。本文研究了 AGS 在几个借自统计力学的解析可处理模型上的性能。我们表明，标准 AGS 并不比在数据层上定义的有效能量景观的经典 Metropolis-Hastings（MH）采样更高效。然而，RBM 可以在其潜空间中识别训练数据的有意义表示。此外，利用这些表示并将吉布斯采样与潜空间中的 MH 算法相结合，当隐藏单元编码数据的弱依赖特征时，可增强 RBM 的采样性能。我们在三个数据集上说明了我们的发现：机器学习中著名的 Bars and Stripes 和 MNIST，以及理论生物学中引入的用于研究蛋白质序列到结构映射的所谓 Lattice Proteins。
引用
@article{arxiv.2107.06013,
title = {Barriers and Dynamical Paths in Alternating Gibbs Sampling of Restricted Boltzmann Machines},
author = {Clément Roussel and Simona Cocco and Rémi Monasson},
journal= {arXiv preprint arXiv:2107.06013},
year = {2021}
}