均场初始化的 Annealed Importance Sampling 算法用于高效评估受限玻尔兹曼机的配分函数
计算物理
2024-04-18 v1 神经与进化计算
摘要
物理学中的概率模型常需计算归一化玻尔兹曼因子，这进而要求计算配分函数 Z。然而，随着系统规模增大，获取 Z 的精确值变得昂贵。这一问题亦存在于概率学习模型如受限玻尔兹曼机（RBM）中，其中学习规则的精确形式意味着需在每次迭代中计算 Z。解决此问题的一种方法是使用 Annealed Importance Sampling（AIS）算法，这为系统的配分函数提供了蒙特卡洛估计工具。迄今为止，AIS 算法的标准做法是从均匀概率分布出发，经过大量蒙特卡洛步骤以遵循退火过程获得可靠的 Z 估计。本文表明，采用恰当选取的均场起始概率分布，可显著改善估计质量并降低计算成本。我们对 AIS 在小规模与大规模问题上的系统性分析，并与已知问题中的精确值进行比较。基于我们的系统性分析，本文提出两种在所分析的所有问题中均表现良好的策略。我们指出，这些策略是以相对较低的计算成本估计 AIS 配分函数的优良起点。
引用
@article{arxiv.2404.11229,
title = {Mean field initialization of the Annealed Importance Sampling algorithm for an efficient evaluation of the Partition Function of Restricted Boltzmann Machines},
author = {A. Prat Pou and E. Romero and J. Martí and F. Mazzanti},
journal= {arXiv preprint arXiv:2404.11229},
year = {2024}
}
备注
arXiv admin note: text overlap with arXiv:2007.11926