扩散概率模型求解器搜索的统一采样框架
人工智能
2023-12-13 v1
摘要
近年来，扩散概率模型取得了快速进展并获得广泛应用。从 DPM 采样可以被视为求解常微分方程（ODE）。尽管性能出色，但由于函数评估次数（NFE）庞大，DPM 的生成通常非常耗时。虽然最近的工作利用高阶求解器将采样加速到约 20 步，但少于 10 次 NFE 的样本质量仍有待提高。在本文中，我们提出了一个统一采样框架（USF）来研究求解器的可选策略。在此框架下，我们进一步揭示，在不同时间步采用不同的求解策略可能有助于进一步降低截断误差，并且精心设计的求解器调度有望大幅提高样本质量。因此，我们提出了一种基于指数积分形式的新的采样框架，允许在每个步骤自由选择求解器策略，并为此框架设计了具体的决策。此外，我们提出了 ，一种基于预测器的搜索方法，可自动优化求解器调度，以获得更好的采样时间-质量权衡。我们证明， 能够找到出色的求解器调度，在 CIFAR-10、CelebA、ImageNet 和 LSUN-Bedroom 数据集上优于最先进的采样方法。具体而言，我们在 CIFAR-10 数据集上以 10 次 NFE 实现了 2.69 的 FID，以 5 次 NFE 实现了 6.86 的 FID，显著优于 SOTA 方法。我们进一步将 应用于 Stable-Diffusion 模型并获得了 2 的加速比，展示了在无需重新训练神经网络的情况下进行极少步数采样的可行性。
引用
@article{arxiv.2312.07243,
title = {A Unified Sampling Framework for Solver Searching of Diffusion Probabilistic Models},
author = {Enshu Liu and Xuefei Ning and Huazhong Yang and Yu Wang},
journal= {arXiv preprint arXiv:2312.07243},
year = {2023}
}