Wasserstein 近端算子描述基于分数的生成模型并解决记忆效应
机器学习
2024-02-12 v1 机器学习
摘要
我们关注基于分数的生成模型 (SGM) 的基本数学结构。我们首先用 Wasserstein 近端算子 (WPO) 来表述 SGM，并证明通过平均场博弈 (MFG)，WPO 表述揭示了描述扩散和基于分数模型归纳偏置的数学结构。具体而言，MFG 以一对耦合偏微分方程的形式产生最优性条件：一个前向受控 Fokker-Planck (FP) 方程和一个后向 Hamilton-Jacobi-Bellman (HJB) 方程。通过 Cole-Hopf 变换并利用交叉熵可以与密度的线性泛函相关这一事实，我们证明 HJB 方程是一个无控制的 FP 方程。其次，利用上述数学结构，我们提出了一种可解释的基于核的分数函数模型，该模型在训练样本和训练时间方面显著提升了 SGM 的性能。此外，显式构造了 WPO 指导的核模型，以避免最近研究的基于分数的生成模型的记忆效应。新提出的基于核模型的数学形式结合 MFG 终端条件的使用，为 SGM 的流形学习和泛化特性提供了新的解释，并解决了其记忆效应。最后，我们基于数学原理且可解释的核模型，为高维应用提出了一种新型可扩展定制神经网络架构。
引用
@article{arxiv.2402.06162,
title = {Wasserstein proximal operators describe score-based generative models and resolve memorization},
author = {Benjamin J. Zhang and Siting Liu and Wuchen Li and Markos A. Katsoulakis and Stanley J. Osher},
journal= {arXiv preprint arXiv:2402.06162},
year = {2024}
}