STANLEY：用于学习能量模型的随机梯度各向异性朗之万动力学
机器学习
2023-10-20 v1 机器学习
摘要
本文中我们提出STANLEY，一种随机梯度各向异性朗之万动力学（STochastic gradient ANisotropic LangEvin dYnamics），用于采样高维数据。随着能量模型（亦称非归一化概率建模）在建模不同性质高维数据观测的生成过程方面效力与潜力的增长，我们提出一种端到端的能量模型（EBM）学习算法，旨在提升所得采样数据点的质量。尽管EBM未知的归一化常数使训练过程难以处理，求助于马尔可夫链蒙特卡洛（MCMC）通常是可行选择。认识到MCMC对EBM训练意味着什么，本文提出一种新颖的高维采样方法，基于各向异性步长与梯度告知的协方差矩阵，嵌入离散化朗之万扩散中。我们通过EBM主干（此处为卷积神经网络）的非线性，论证了马尔可夫链中负样本各向异性更新的必要性。我们所得方法即STANLEY，是一种通过新引入的MCMC方法训练能量模型的优化算法。我们通过证明该采样器导出一个几何一致遍历的马尔可夫链，提供了对其采样方案的理论理解。文中给出了若干图像生成实验以展示方法的有效性。
引用
@article{arxiv.2310.12667,
title = {STANLEY: Stochastic Gradient Anisotropic Langevin Dynamics for Learning Energy-Based Models},
author = {Belhal Karimi and Jianwen Xie and Ping Li},
journal= {arXiv preprint arXiv:2310.12667},
year = {2023}
}
备注
arXiv admin note: text overlap with arXiv:1207.5938 by other authors