基于矩匹配高斯混合模型的改进 DDIM 采样

我们提出在去噪扩散隐式模型（DDIM）框架内使用高斯混合模型（GMM）作为反向转移算子（核），DDIM 是从预训练去噪扩散概率模型（DDPM）加速采样最广泛使用的方法之一。具体地，我们通过约束 GMM 的参数来匹配 DDPM 前向边缘分布的一阶与二阶中心矩。我们发现矩匹配足以获得与原高斯核 DDIM 质量相等或更优的样本。我们分别在 CelebAHQ 和 FFHQ 上训练的无条件模型、ImageNet 上训练的类别条件模型，以及 COYO700M 数据集上使用 Stable Diffusion v2.1 的文本到图像生成提供了实验结果。我们的结果表明，当采样步数较少时，使用 GMM 核在生成样本质量上带来显著提升，以 FID 和 IS 指标衡量。例如在 ImageNet 256x256 上，使用 10 步采样，GMM 核取得 FID 6.94 与 IS 207.85，而高斯核分别为 10.15 与 196.73。此外，我们推导了用于整流流匹配模型的新颖 SDE 采样器，并用所提方法实验。我们看到使用 1-整流流和 2-整流流模型均有改进。代码：https://github.com/pgabbur/ddim-gmm。