通过Fokker-Planck方程弥合基于分数的扩散模型中ODE-SDE的差距
机器学习
2023-11-28 v1 数值分析
数值分析
机器学习
摘要
基于分数的扩散模型已成为深度生成建模中最有前景的框架之一,因其在诸多生成任务上的最优性能,同时依赖于随机微分方程(SDEs)与常微分方程(ODEs)等数学基础。经验上,已有报道称基于ODE的样本劣于基于SDE的样本。本文严格描述了训练基于分数的扩散模型时出现的动力学范围与近似,包括真实SDE动力学、神经网络近似、由此产生的各种近似粒子动力学,以及它们相关的Fokker–Planck方程和这些Fokker–Planck方程的神经网络近似。我们系统分析了基于分数的扩散模型中ODE与SDE动力学之间的差异,并将其与相关的Fokker–Planck方程相联系。我们推导了ODE与SDE诱导分布之间Wasserstein 2-距离的理论上界,该上界由Fokker–Planck残差表示。我们还通过数值实验表明,常规基于分数的扩散模型可表现出ODE与SDE诱导分布间的显著差异,并通过显式比较加以展示。此外,我们数值证明,通过将Fokker–Planck残差作为额外正则化项来减小它,可弥合ODE与SDE诱导分布间的差距。我们的实验表明,该正则化可改善ODE生成的分布,但可能以SDE样本质量下降为代价。
引用
@article{arxiv.2311.15996,
title = {Closing the ODE-SDE gap in score-based diffusion models through the Fokker-Planck equation},
author = {Teo Deveney and Jan Stanczuk and Lisa Maria Kreusser and Chris Budd and Carola-Bibiane Schönlieb},
journal= {arXiv preprint arXiv:2311.15996},
year = {2023}
}