深入探究时间步长值得为扩散模型训练带来三倍加速
机器学习
2025-03-26 v3 人工智能
摘要
训练扩散模型始终是一项计算密集型任务。本文中，我们引入了一种名为 SpeeD 的扩散模型训练加速新方法，该方法基于对时间步长的深入探究。我们的核心发现是：i) 根据过程增量，时间步长可以在经验上划分为加速区、减速区和收敛区。ii) 这些时间步长是不平衡的，许多集中在收敛区。iii) 集中的步长对扩散训练提供的收益有限。为了解决这个问题，我们设计了一种非对称采样策略，降低了收敛区步长的采样频率，同时增加了其他区域步长的采样概率。此外，我们提出了一种加权策略，以强调具有快速变化过程增量的时间步长的重要性。作为一种即插即用且与架构无关的方法，SpeeD 在各种扩散架构、数据集和任务上始终实现 3 倍加速。值得注意的是，由于其简单的设计，我们的方法以极小的开销显著降低了扩散模型训练的成本。我们的研究使更多研究人员能够以更低的成本训练扩散模型。
引用
@article{arxiv.2405.17403,
title = {A Closer Look at Time Steps is Worthy of Triple Speed-Up for Diffusion Model Training},
author = {Kai Wang and Mingjia Shi and Yukun Zhou and Zekai Li and Zhihang Yuan and Yuzhang Shang and Xiaojiang Peng and Hanwang Zhang and Yang You},
journal= {arXiv preprint arXiv:2405.17403},
year = {2025}
}