降低去噪扩散模型蒸馏中的空间拟合误差

去噪扩散模型在图像生成中展现出卓越能力。然而，生成高质量样本需要大量迭代。扩散模型的知识蒸馏是一种通过缩短采样过程来解决此限制的有效方法，但会导致生成质量下降。基于偏差-方差分解的分析与实验观察，我们将这种退化归因于教师模型与学生模型训练中出现空间拟合误差。相应地，我们提出 $\textbf{S}$patial $\textbf{F}$itting-$\textbf{E}$rror $\textbf{R}$eduction $\textbf{D}$istillation 模型（$\textbf{SFERD}$）。SFERD 利用教师模型的注意力引导与所设计的语义梯度预测器来降低学生的拟合误差。经验上，我们所提模型在少量函数评估下即可促成高质量样本生成。我们在 CIFAR-10 上以仅一步实现 5.31 的 FID，在 ImageNet 64$\times$64 上实现 9.39 的 FID，优于现有扩散方法。我们的研究通过凸显模型内在的去噪能力，为扩散蒸馏提供了新视角。项目链接：\url{https://github.com/Sainzerjj/SFERD}。