厘清基于 MCMC 的现代 EBM 训练：对比散度与最大似然
机器学习
2022-02-25 v1
摘要
基于能量的模型（EBM）框架是一种非常通用的生成建模方法，试图学习并利用仅由非归一化分数定义的概率分布。近年来，由于使用卷积神经网络（CNN）参数化分布在图像生成中取得了令人印象深刻的成果，它的人气有所上升。然而，现代 EBM 的动机与理论基础在近期论文中常常缺失，这有时会导致一些混淆。特别是，流行的基于 MCMC 的学习算法对比散度（CD）背后的理论依据常被一笔带过，我们发现这导致了近期有影响力论文（Du & Mordatch, 2019; Du et al., 2020）中的理论错误。在从第一性原理介绍基于 MCMC 的训练后，我们论证他们使用的学习算法事实上不能被描述为 CD，并根据一种新的解释重新解读他们的方法。最后，我们讨论新解释的含义并给出一些说明性实验。
引用
@article{arxiv.2202.12176,
title = {Clarifying MCMC-based training of modern EBMs : Contrastive Divergence versus Maximum Likelihood},
author = {Léo Gagnon and Guillaume Lajoie},
journal= {arXiv preprint arXiv:2202.12176},
year = {2022}
}
备注
This work was done as a final project in the class IFT 6269 (Probabilistic Graphical Models) given by Simon Lacoste-Julien in Fall 2021 at Mila