扩散模型用于近似高斯混合模型的无维度收敛性
机器学习
2025-04-08 v1 数值分析
数值分析
统计理论
机器学习
统计理论
摘要
扩散模型因其在通过迭代去噪生成高质量样本方面表现卓越而著名。虽然当前理论表明，生成准确样本所需的去噪步骤数应随数据维度呈线性增长，但这并不反映广泛使用的 DDPM（Denoising Diffusion Probabilistic Models）算法的实际效率。本文调查了扩散模型在从可被高斯混合模型（GMM）良好近似的复杂高维分布中进行采样方面的有效性。对于这些分布，我们的主要结果表明，DDPM 最多需要 次迭代即可在总变差（TV）距离下达到 精度的结果，独立于环境维度 和组件数 （仅受对数因子影响）。此外，此结果对得分估计误差具有鲁棒性。这一发现凸显了扩散模型在高维设置下的惊人效能，这得益于 GMMs 的通用逼近能力，也为其实际成功提供了理论洞见。
引用
@article{arxiv.2504.05300,
title = {Dimension-Free Convergence of Diffusion Models for Approximate Gaussian Mixtures},
author = {Gen Li and Changxiao Cai and Yuting Wei},
journal= {arXiv preprint arXiv:2504.05300},
year = {2025}
}