利用扩散对比散度训练能量模型
机器学习
2023-07-06 v1 计算机视觉与模式识别
机器学习
摘要
能量模型（EBMs）已被广泛用于生成建模。对比散度（CD）作为EBM的主流训练目标，需要使用马尔可夫链蒙特卡洛方法（MCMCs）从EBM中采样，这导致计算负担与CD有效性之间不可调和的权衡。将MCMC运行至收敛计算量巨大；另一方面，短程MCMC会引入一个难以处理的额外不可忽略的参数梯度项。本文对CD给出了一种通用解释，将其视为我们提出的扩散对比散度（DCD）族的一个特例。通过用其他无EBM参数的扩散过程替换CD中使用的朗之万动力学，我们提出了一种更高效的散度。我们表明所提出的DCD比CD计算效率更高，且不受不可忽略梯度项的限制。我们进行了大量实验，包括合成数据建模以及高维图像去噪和生成，以展示所提出DCD的优势。在合成数据学习和图像去噪实验中，我们提出的DCD大幅优于CD。在图像生成实验中，所提出的DCD能够训练一个能量模型来生成CelebA 数据集，与现有EBM相当。
引用
@article{arxiv.2307.01668,
title = {Training Energy-Based Models with Diffusion Contrastive Divergences},
author = {Weijian Luo and Hao Jiang and Tianyang Hu and Jiacheng Sun and Zhenguo Li and Zhihua Zhang},
journal= {arXiv preprint arXiv:2307.01668},
year = {2023}
}