早鸟扩散：探究和利用扩散模型中时步感知的早鸟票

训练扩散模型（DMs）因在众多时步上的多次前向和反向传播，需大量计算资源，催生了高效训练技术的研究。本文提出EB-Diff-Train，一种新型高效DM训练方法，与其他加速DM训练方法互补，通过探究和利用早鸟（EB）票——即在训练初期显现并保持高生成质量的稀疏子网络。我们首先探讨了传统EB票在DM中的存在性，验证其在不完全训练稠密模型的情况下即可实现竞争性生成质量。随后，我们深入探讨扩散专用EB票的概念，借鉴不同时步区域重要性差异的洞见。这些票适应相应时步区域的稀疏程度，在非关键区域实现激进稀疏，同时为关键时步区域保留计算资源。基于此，我们开发了一种高效DM训练技术，推导时步感知EB票，平行训练它们，并在推理阶段组合以完成图像生成。大量实验验证了传统EB票和时步感知EB票的存在性，以及我们提出的EB-Diff-Train方法的有效性。该方法在空间和时间上均可显著缩短训练时间——相较于训练稠密模型实现2.9$\times$至5.8$\times$的加速，相较于标准的训练-修剪-微调流程实现最高10.3$\times$的加速——且无需牺牲生成质量。我们的代码已公开于https://github.com/GATECH-EIC/Early-Bird-Diffusion。