解构扩散目标: 重加权损失是更优变分下界
机器学习
2025-11-26 v1 机器学习
摘要
我们推导了一种对广泛用于训练扩散模型的重加权损失的新型理论解释。我们的方法基于构建一系列随时间变化的变分下界,以数据对数似然函数,该下界可证明地优于标准证据下界,并导致更低的数据-模型KL散度。将此类下界组合即可得到可应用于任何生成扩散模型的重加权目标,包括连续高斯扩散和遮蔽(离散)扩散模型。然后,我们在遮蔽扩散中展示了该框架,并在像素空间图像建模中报告了显著优于先前训练损失的改进,接近连续扩散模型的样本质量。我们的结果还为在遮蔽图像模型中广泛使用的简单加权方案提供了理论依据。
引用
@article{arxiv.2511.19664,
title = {Demystifying Diffusion Objectives: Reweighted Losses are Better Variational Bounds},
author = {Jiaxin Shi and Michalis K. Titsias},
journal= {arXiv preprint arXiv:2511.19664},
year = {2025}
}