使用 DDPM 目标学习高斯混合模型

近期工作表明，只要能够进行分数估计，扩散模型几乎可以学习任意分布。然而，在何种设定下分数估计是可行的，更不用说针对该任务的实用基于梯度的算法何时可证明地成功，仍知之甚少。本工作中，我们针对最基本的分布族之一——高斯混合模型，给出了沿此方向首个可证明高效的结果。我们证明，在以下两种设定下，对去噪扩散概率模型（DDPM）目标进行梯度下降可高效恢复混合模型的真实参数：1) 我们证明随机初始化的梯度下降可在 $d$ 维空间中学习中心间隔为 $1/\text{poly}(d)$ 的两个球面高斯混合。2) 我们证明热启动的梯度下降可学习 $K$ 个中心间隔为 $\Omega(\sqrt{\log(\min(K,d))})$ 的球面高斯混合。我们证明中的一个关键要素是分数方法与另外两种分布学习方法——EM 算法与谱方法——之间的新联系。