基于 Score identity Distillation 的 Few-Step Diffusion

扩散蒸馏已成为加速文本到图像（T2I）扩散模型的有前景策略，通过将预训练的得分网络蒸馏到一或少数几个步骤的生成器。尽管现有方法取得了显著进展，但往往依赖真实或教师综合图像，在蒸馏如 Stable Diffusion XL（SDXL）等高分辨率 T2I 扩散模型时效果有限，且其使用的无分类器引导（CFG）引入了文本图像对齐与生成多样性之间的持久性权衡。为此，我们优化了 Score identity Distillation（SiD）——一种无数据、一步蒸馏框架，以实现少步骤生成。基于匹配所有生成步骤输出的均匀混合分布以证明理论依据，我们的少步骤蒸馏算法避免了步骤特定网络，能无缝集成到现有管道中，在 1024x1024 分辨率的 SDXL 上实现最新性能。为缓解在真实文本图像对可用时对齐-多样性权衡，本文引入基于扩散 GAN 的对抗损失作用于均匀混合输出，并提出两种新型引导策略：Zero-CFG 禁用教师中的 CFG 且移除假得分网络中的文本条件；Anti-CFG 在假得分网络中应用负 CFG。这种灵活设置在不牺牲对齐度的前提下提升了多样性。全面实验在 SD1.5 和 SDXL 上表明，在一阶和少阶生成设置中均实现最新性能，并对缺乏真实图像具有鲁健性。我们高效的 PyTorch 实现及其产生的单步和少步蒸馏生成器，将在 https://github.com/mingyuanzhou/SiD-LSG 上作为独立分支公开发布。