PFDiff：结合过去和未来得分的无训练扩散模型加速
计算机视觉与模式识别
2025-02-21 v3
摘要
扩散概率模型 (DPMs) 在图像生成方面显示出巨大的潜力，但其采样效率受到诸多去噪步骤的制约。大多数现有解决方案通过提出快速 ODE 求解器来加速采样过程。然而，ODE 求解器不可避免的离散化误差在函数评估次数 (NFE) 较少时会被放大。在本工作中，我们提出 PFDiff，一种新的无训练且正交的 timestep-skipping 策略，使现有的快速 ODE 求解器能够以更少的 NFE 运行。具体而言，PFDiff 初始采用来自过去时间步的得分替换来预测一个"垫板"。随后，它利用受 Nesterov 动量启发的 foresight 更新来快速更新当前的中间状态。该方法有效减少了不必要的 NFE，同时纠正了一阶 ODE 求解器固有的离散化误差。实验结果表明，PFDiff 在 various pre-trained DPMs 上具有灵活的适用性，尤其在条件 DPMs 中表现突出，超越了之前的最新 training-free 方法。例如，使用 DDIM 作为基线，我们在 ImageNet 64x64 上使用 classifier guidance 实现 16.46 FID (4 NFE)，而 DDIM 得分 138.81 FID；在 Stable Diffusion 上实现 13.06 FID (10 NFE)，使用 7.5 guidance scale。代码可在 \url{https://github.com/onefly123/PFDiff} 获取。
关键词
引用
@article{arxiv.2408.08822,
title = {PFDiff: Training-Free Acceleration of Diffusion Models Combining Past and Future Scores},
author = {Guangyi Wang and Yuren Cai and Lijiang Li and Wei Peng and Songzhi Su},
journal= {arXiv preprint arXiv:2408.08822},
year = {2025}
}
备注
Accepted at ICLR 2025