定制非平稳求解器：用于扩散模型和流模型的快速采样
机器学习
2024-03-05 v1 人工智能
计算机视觉与模式识别
摘要
本文介绍了定制非平稳（BNS）求解器，一种求解器蒸馏方法，用于提高扩散模型和流模型的采样效率。BNS求解器基于一族非平稳求解器，这些求解器可证明地包含了现有的数值ODE求解器，因此在这些基线上展示了样本近似（PSNR）的显著改进。与模型蒸馏相比，BNS求解器具有参数空间小（<200个参数）、优化速度快（快两个数量级）、保持样本多样性等优点，并且与之前的求解器蒸馏方法相比，在低中NFE范围内几乎缩小了与标准蒸馏方法（如渐进蒸馏）的差距。例如，在类别条件ImageNet-64上，BNS求解器使用16个NFE达到了45 PSNR / 1.76 FID。我们将BNS求解器应用于条件图像生成、文本到图像生成和文本到音频生成，在所有任务中样本近似（PSNR）均有显著提升。
引用
@article{arxiv.2403.01329,
title = {Bespoke Non-Stationary Solvers for Fast Sampling of Diffusion and Flow Models},
author = {Neta Shaul and Uriel Singer and Ricky T. Q. Chen and Matthew Le and Ali Thabet and Albert Pumarola and Yaron Lipman},
journal= {arXiv preprint arXiv:2403.01329},
year = {2024}
}