归一化流的梯度估计器
机器学习
2022-03-01 v2 统计力学
机器学习
高能物理 - 格点
摘要
近来,一种称为神经马尔可夫链蒙特卡洛(NMCMC)的蒙特卡洛模拟机器学习方法正获得关注。其最流行形式使用神经网络构造归一化流,然后训练以近似所需目标分布。本文中,我们提出用于随机梯度下降算法的新梯度估计器(及相应的 \texttt{PyTorch} 实现),并表明其在 模型上带来更好的训练结果。对于该模型,我们的估计器在约标准方法所需时间的一半内达到相同精度,并最终提供对自由能的更好估计。我们将此效应归因于新估计器更低的方差。与标准学习算法相反,我们的方法无需估计作用量相对于场的梯度,因而具有对具有更复杂作用量的模型进一步加速训练的潜力。
引用
@article{arxiv.2202.01314,
title = {Gradient estimators for normalising flows},
author = {Piotr Bialas and Piotr Korcyl and Tomasz Stebel},
journal= {arXiv preprint arXiv:2202.01314},
year = {2022}
}
备注
20 pages, 5 figures, v2: improved algorithm for calculating gradients