分数恒等蒸馏：预训练扩散模型指数级快速一步生成蒸馏
机器学习
2024-05-27 v3 人工智能
计算机视觉与模式识别
机器学习
摘要
我们引入了分数恒等蒸馏（SiD），一种无需数据的方法，将预训练扩散模型的生成能力蒸馏到单步生成器中。SiD 不仅在蒸馏过程中实现了弗雷歇初始距离（FID）的指数级快速下降，而且其 FID 性能甚至达到或超过了原始教师扩散模型。通过将前向扩散过程重新表述为半隐式分布，我们利用三个与分数相关的恒等式构建了一种创新的损失机制。该机制通过使用生成器自身的样本来训练生成器，实现快速的 FID 下降，无需真实数据或基于反向扩散的生成，并且生成时间显著缩短。在四个基准数据集上的评估表明，SiD 算法在蒸馏过程中表现出高迭代效率，并在生成质量上超越了其他蒸馏方法，无论是一步还是少步、无数据还是依赖训练数据的方法。这一成果不仅重新定义了扩散蒸馏效率和有效性的基准，也推动了基于扩散的生成领域的发展。PyTorch 实现见 https://github.com/mingyuanzhou/SiD。
关键词
引用
@article{arxiv.2404.04057,
title = {Score identity Distillation: Exponentially Fast Distillation of Pretrained Diffusion Models for One-Step Generation},
author = {Mingyuan Zhou and Huangjie Zheng and Zhendong Wang and Mingzhang Yin and Hai Huang},
journal= {arXiv preprint arXiv:2404.04057},
year = {2024}
}
备注
ICML 2024, PyTorch implementation: https://github.com/mingyuanzhou/SiD