广义对比散度：通过逆强化学习联合训练基于能量的模型与扩散模型
机器学习
2023-12-07 v1 人工智能
摘要
我们提出广义对比散度（GCD），一种用于同时训练基于能量的模型（EBM）和采样器的新型目标函数。GCD推广了对比散度（Hinton, 2002），这是一种著名的训练EBM的算法，通过将马尔可夫链蒙特卡洛（MCMC）分布替换为可训练的采样器（如扩散模型）。在GCD中，EBM和扩散模型的联合训练被表述为一个极小极大问题，当两个模型都收敛到数据分布时达到平衡。使用GCD的极小极大学习与逆强化学习具有有趣的等价性，其中能量对应于负奖励，扩散模型是策略，真实数据是专家示范。我们展示了初步但前景广阔的结果，表明联合训练对EBM和扩散模型都有益。GCD能够在无需MCMC的情况下训练EBM，同时提高扩散模型的样本质量。
引用
@article{arxiv.2312.03397,
title = {Generalized Contrastive Divergence: Joint Training of Energy-Based Model and Diffusion Model through Inverse Reinforcement Learning},
author = {Sangwoong Yoon and Dohyun Kwon and Himchan Hwang and Yung-Kyun Noh and Frank C. Park},
journal= {arXiv preprint arXiv:2312.03397},
year = {2023}
}
备注
NeurIPS 2023 Workshop on Diffusion Models