从高斯混合视角解析扩散模型的光滑性质
机器学习
2024-10-15 v2 人工智能
计算机视觉与模式识别
摘要
扩散模型在各类领域生成高质量样本方面取得了快速进展。然而，关于扩散过程Lipschitz连续性和二阶动量性质的理论理解仍不充分。本文通过详细检验这些光滑性质，针对目标数据分布为高斯混合的情况（作为光滑密度如图像数据的通用逼近器）。我们证明，如果目标分布为k混合高斯，则整个扩散过程的密度也为k混合高斯。随后，我们推导了独立于混合组件数k的紧致Lipschitz常数和二阶动量上界。最后，我们将我们的分析应用到各种扩散求解器（包括SDE和ODE）上，建立了以总变差距离和KL散度为度量的具体误差保证。我们的结果为在常见数据分布下扩散过程的动力学提供了更深入的理论见解。
引用
@article{arxiv.2405.16418,
title = {Unraveling the Smoothness Properties of Diffusion Models: A Gaussian Mixture Perspective},
author = {Yingyu Liang and Zhenmei Shi and Zhao Song and Yufa Zhou},
journal= {arXiv preprint arXiv:2405.16418},
year = {2024}
}