受限玻尔兹曼机的快速训练与采样

受限玻尔兹曼机（RBMs）是建模复杂系统和从数据中提取洞察的强大工具，但其训练受限于马尔可夫链蒙特卡洛（MCMC）过程的混合速度，尤其是在高度结构化数据集上。在本研究中，我们在RBM训练的最新理论进展基础上，关注数据模式编码为耦合矩阵奇异向量的分步方法，这显著降低了生成新样本和评估模型质量的成本，以及在高度聚类数据集上的训练成本。学习过程类似于铁磁模型中观察到的热力学连续相变，其中概率测度中的新模式以连续方式涌现。我们利用训练过程中连续相变，定义平滑的退火轨迹，以实现可靠且计算效率高的对数似然估计。该方法使我们能够在训练期间进行在线评估，并引入一种名为平行轨迹退火（Parallel Trajectory Tempering, PTT）的新采样策略，该策略在比较以前优化的MCMC方法时表现更佳。为缓解训练早期阶段的临界减缓效应，我们提出了预训练阶段。在此阶段，通过凸优化过程将主成分编码到低秩RBM中，促进了有效的静态蒙特卡洛采样和准确的分区函数计算。我们的实结果表明，该预训练策略使RBM能够高效处理常规方法失败的高度结构化数据集。此外，我们的对数似然估计在受控情景下优于计算密集型方法，而PTT算法在比较常规方法时显著加速了MCMC过程。