面向扩散生成模型中快速随机采样
机器学习
2024-02-14 v2 机器学习
摘要
扩散模型在推理时存在样本生成缓慢的问题。尽管近期已有诸多努力，提高扩散模型随机采样器的采样效率仍是一个有前景的方向。我们提出在增广空间中使用分裂积分器，用于预训练扩散模型的快速随机采样。基于分裂的积分器常用于分子动力学，它通过在涉及数据变量、辅助变量或噪声变量的数值更新之间巧妙交替，试图提高采样效率。然而，我们证明，直接应用分裂积分器对于快速采样而言并非最优。因此，我们提出了若干原则性修改，以改进朴素分裂采样器，从而提高采样效率，并将所得采样器称为约化分裂积分器。在 CIFAR-10 上的相空间朗之万扩散 (PSLD) [Pandey & Mandt, 2023] 背景下，我们的随机采样器仅需 100 次网络函数评估 (NFE) 即可达到 2.36 的 FID 分数，而最佳基线的分数为 2.63。
引用
@article{arxiv.2402.07211,
title = {Towards Fast Stochastic Sampling in Diffusion Generative Models},
author = {Kushagra Pandey and Maja Rudolph and Stephan Mandt},
journal= {arXiv preprint arXiv:2402.07211},
year = {2024}
}
备注
Accepted in the NeurIPS'23 Workshop on Diffusion Models. Full version of this work can be found at arXiv:2310.07894