训练能量基模型的 Jarzynski 重加权与抽样动力学：不同转换核函数的理论分析
机器学习
2025-06-10 v1 计算物理
摘要
能量基模型（EBMs）为生成建模提供了灵活的框架，但其训练仍然在理论上具有挑战性 due to 需要近似归一化常数以及高效地从复杂、多模态分布中进行抽样。传统方法，如对比发生和得分匹配，引入的偏差可能阻碍准确学习。在本工作中，我们对 Jarzynski 重加权——一种来自非平衡统计力学的技术——进行了理论分析，并探讨了其对训练 EBMs 的影响。我们关注核函数选择的作用，并在两个关键生成框架中阐述了这些理论考虑：(i) 基于流的扩散模型，我们在随机插值语境中重新解释 Jarzynski 重加权，以缓解离散化误差并提高样本质量；(ii) 限制性玻尔茨曼机，其中我们分析其在纠正对比发生偏差方面的作用。我们的结果提供了关于核函数选择与模型性能之间相互作用的见解，突显了 Jarzynski 重加权作为生成学习原则工具的潜力。
引用
@article{arxiv.2506.07843,
title = {Jarzynski Reweighting and Sampling Dynamics for Training Energy-Based Models: Theoretical Analysis of Different Transition Kernels},
author = {Davide Carbone},
journal= {arXiv preprint arXiv:2506.07843},
year = {2025}
}