解释能量基模型训练中非收敛采样的影响
机器学习
2026-05-07 v2 无序系统与神经网络
统计力学
摘要
本文中，我们量化了使用非收敛马尔可夫链训练能量基模型（EBMs）的影响。具体而言，我们从解析上表明：以非持续短程运行来估计梯度所训练的 EBM，能够完美复现数据的一组经验统计量——并非在平衡测度层面，而是通过精确的动力学过程。我们的结果为近期工作提出的、以从随机初值出发的短程运行作为 EBM 中生成高质量样本的高效策略的观察提供了第一性原理解释，并为将 EBM 用作扩散模型奠定基础。在阐释通用 EBM 中的该效应后，我们分析两个可解模型，其中非收敛采样对训练参数的影响可被细致描述。最后，我们在 ConvNet EBM 与 Boltzmann 机上对这些预测作了数值验证。
引用
@article{arxiv.2301.09428,
title = {Explaining the effects of non-convergent sampling in the training of Energy-Based Models},
author = {Elisabeth Agoritsas and Giovanni Catania and Aurélien Decelle and Beatriz Seoane},
journal= {arXiv preprint arXiv:2301.09428},
year = {2026}
}
备注
Accepted at ICML 2023