将扩散目标函数理解为带简单数据增强的 ELBO
机器学习
2023-09-27 v7 人工智能
机器学习
摘要
为达到最高感知质量，最先进的扩散模型以通常与最大似然和证据下界（ELBO）目标函数迥异的目标函数进行优化。本工作中，我们揭示扩散模型目标函数实际上与 ELBO 密切相关。具体而言，我们表明所有常用扩散模型目标函数都等于不同噪声水平下 ELBO 的加权积分，其中权重依赖于所使用的具体目标函数。在单调加权条件下，该联系甚至更为紧密：此时扩散目标函数等于 ELBO 结合简单数据增强，即高斯噪声扰动。我们证明该条件对若干最先进扩散模型成立。在实验中，我们探索了新的单调加权并证明其有效性，在高分辨率 ImageNet 基准上取得了最先进的 FID 分数。
引用
@article{arxiv.2303.00848,
title = {Understanding Diffusion Objectives as the ELBO with Simple Data Augmentation},
author = {Diederik P. Kingma and Ruiqi Gao},
journal= {arXiv preprint arXiv:2303.00848},
year = {2023}
}