用于扩散模型的高斯混合求解器
机器学习
2023-11-03 v1 人工智能
计算机视觉与模式识别
摘要
近来,扩散模型在生成任务中取得了巨大成功。从扩散模型采样等价于求解反向扩散随机微分方程(SDEs)或相应的概率流常微分方程(ODEs)。相比之下,基于SDE的求解器能生成更高质量的样本,并适用于如基于笔触的合成等图像翻译任务。然而在推理时,现有基于SDE的求解器严重受限于效率-效果的权衡。我们的研究表明,这是因为在有限离散化步数下,反向转移核中的高斯假设常被违背(即使在简单混合数据的情况下)。为克服此限制,我们引入了一类称为\emph{高斯混合求解器(GMS)}的新型基于SDE的扩散模型求解器。我们的求解器在采样的每一步估计前三阶矩,并利用广义矩估计方法优化高斯混合转移核的参数。经验上,我们的求解器在多种扩散模型的图像生成与基于笔触的合成中,于样本质量方面优于众多基于SDE的求解器,这验证了GMS的动机与有效性。我们的代码可在 https://github.com/Guohanzhong/GMS 获取。
引用
@article{arxiv.2311.00941,
title = {Gaussian Mixture Solvers for Diffusion Models},
author = {Hanzhong Guo and Cheng Lu and Fan Bao and Tianyu Pang and Shuicheng Yan and Chao Du and Chongxuan Li},
journal= {arXiv preprint arXiv:2311.00941},
year = {2023}
}
备注
NeurIPS 2023