能量差异：一种独立于分数的能量基模型损失
机器学习
2023-11-28 v2 机器学习
摘要
能量基模型是一类简单却强大的概率模型，但其广泛采用受限于训练的计算负担。我们提出一种称为能量差异(ED)的新颖损失函数，它不依赖于分数计算或昂贵的马尔可夫链蒙特卡洛。我们证明 ED 在不同极限下逼近显式分数匹配与负对数似然损失，有效地在两者间插值。因此，最小 ED 估计克服了基于分数的估计方法中遇到的短视问题，同时享有理论保证。通过数值实验，我们证明 ED 比显式分数匹配或对比散度更快且更准确地学习低维数据分布。对于高维图像数据，我们描述了流形假设如何限制我们的方法，并通过将能量基模型训练为变分解码器模型的先验来展示能量差异的有效性。
引用
@article{arxiv.2307.06431,
title = {Energy Discrepancies: A Score-Independent Loss for Energy-Based Models},
author = {Tobias Schröder and Zijing Ou and Jen Ning Lim and Yingzhen Li and Sebastian J. Vollmer and Andrew B. Duncan},
journal= {arXiv preprint arXiv:2307.06431},
year = {2023}
}
备注
Camera Ready version for the 37th Conference on Neural Information Processing Systems (NeurIPS 2023). Changes in this revision: Appendix A1: Corrected proof of Theorem 1. Appendix D3: Added definition and numerical experiments for energy discrepancy on binary discrete spaces. Minor changes in the main text and correction of typos. Added new references