T-Stitch：利用轨迹拼接加速预训练扩散模型的采样
计算机视觉与模式识别
2024-02-23 v1 机器学习
摘要
从扩散概率模型（DPMs）中采样通常对于高质量图像生成而言代价高昂，且通常需要大量步骤和大模型。在本文中，我们引入了采样轨迹拼接 T-Stitch，这是一种简单而高效的技术，旨在提高采样效率，同时几乎不造成生成质量下降。T-Stitch 并非在整个采样轨迹中仅使用大型 DPM，而是首先在初始步骤中利用较小的 DPM 作为大型 DPM 的廉价即插即用替代品，并在后期阶段切换回大型 DPM。我们的核心见解是，不同的扩散模型在相同的训练数据分布下学习到了相似的编码，且小型模型能够在早期步骤中生成良好的全局结构。大量实验表明，T-Stitch 无需训练，普遍适用于不同架构，并能与大多数现有的快速采样技术互补，提供灵活的速度与质量权衡。例如，在 DiT-XL 上，40% 的早期时间步可以安全地替换为速度快 10 倍的 DiT-S，而在类条件 ImageNet 生成上性能未下降。我们进一步表明，我们的方法不仅可以作为即插即用技术来加速流行的预训练稳定扩散（SD）模型，还可以提高公共模型库中风格化 SD 模型的提示词对齐度。代码已发布于 https://github.com/NVlabs/T-Stitch
引用
@article{arxiv.2402.14167,
title = {T-Stitch: Accelerating Sampling in Pre-Trained Diffusion Models with Trajectory Stitching},
author = {Zizheng Pan and Bohan Zhuang and De-An Huang and Weili Nie and Zhiding Yu and Chaowei Xiao and Jianfei Cai and Anima Anandkumar},
journal= {arXiv preprint arXiv:2402.14167},
year = {2024}
}