通过协同扩散恢复似然学习基于能量的模型
机器学习
2024-11-12 v5 机器学习
摘要
在高维数据上训练基于能量的模型（EBM）既具挑战又耗时，且 EBM 与其他生成框架（如 GAN 和扩散模型）在样本质量上存在明显差距。为缩小此差距，受近期通过最大化扩散恢复似然（DRL）学习 EBM 工作的启发，我们提出协同扩散恢复似然（CDRL），一种在数据集上逐渐增加的噪声版本上可处理地学习并采样一系列 EBM 的有效方法，且为每个 EBM 配有一个初始化模型。在每个噪声水平上，两个模型在协同训练框架内联合估计：来自初始化器的样本作为起点，由 EBM 的若干 MCMC 采样步精炼。随后通过最大化恢复似然优化 EBM，而初始化模型则通过学习精炼样本与初始样本之间的差异来优化。此外，我们为 EBM 训练做了若干实用设计以进一步提升样本质量。结合这些进展，我们的方法在 CIFAR-10 和 ImageNet 数据集上相比现有 EBM 方法显著提升了生成性能。我们还展示了我们的模型在若干下游任务中的有效性，包括无分类器引导生成、组合生成、图像修复和分布外检测。
引用
@article{arxiv.2309.05153,
title = {Learning Energy-Based Models by Cooperative Diffusion Recovery Likelihood},
author = {Yaxuan Zhu and Jianwen Xie and Yingnian Wu and Ruiqi Gao},
journal= {arXiv preprint arXiv:2309.05153},
year = {2024}
}