通过可并行抽样器和高效温度估计释放玻尔兹曼机的力量

玻尔兹曼机（BMs）是强大的能量基生成模型，但其沉重的训练成本使实际应用主要局限于受限玻尔兹曼机（RBMs），后者使用称为对比度梯度的高效学习方法进行训练。更准确的学习通常需要玻尔兹曼采样的MCMC（马尔可夫链蒙特卡罗）抽样，但由于难以并行化更具表现力的模型，抽样耗时。为解决这一限制，我们首先提出一种新的玻尔兹曼抽样器，灵感来自称为模拟分岔的量子启发式组合优化。我们将这种基于SB的方法称为Langevin SB（LSB），它在保持与MCMC相当的准确性的同时实现了并行抽样。此外，这适用于RBMs，也适用于具有一般耦合的BMs。然而，LSB无法控制输出玻尔兹曼分布的逆温度，这会阻碍学习并降低性能。为克服这一限制，我们还开发了一种高效的方法，用于在学习过程中估计逆温度，我们将其称为条件期望匹配（CEM）。通过将LSB和CEM结合起来，我们建立了一个用于具有比RBMs更强表现力的BMs的高效学习框架。我们将该框架称为采样自适应学习（SAL）。SAL为超越RBMs的能量基生成建模开辟了新的道路。