逆向过程中的噪声改善了扩散模型的逼近能力
机器学习
2023-12-15 v2 系统与控制
系统与控制
最优化与控制
摘要
在生成建模领域最先进的基于分数的生成建模（SGM）中，已知随机逆向过程的表现优于其确定性对应过程。本文深入探究了这一现象的核心，比较了作为逆向过程的神经常微分方程（ODEs）和神经随机微分方程（SDEs）。我们采用控制论的视角，将逆向过程的逼近问题设定为轨迹跟踪问题。我们分析了神经 SDE 逼近 Fokker-Planck 方程轨迹的能力，揭示了随机性的优势。首先，神经 SDE 展现出强大的正则化效应，即使在参考向量场或得分函数非 Lipschitz 的情况下，也能实现超越神经 ODE 在类似条件下所达到的 Wasserstein 度量逼近的 范数轨迹逼近。应用这一结果，我们建立了在 SGM 中可使用分数匹配进行采样的分布类别，放宽了现有文献中对数据分布梯度的 Lipschitz 要求。其次，我们证明当网络宽度被限制为网络的输入维度时，这种逼近性质得以保持。在这种有限宽度情况下，权重充当控制输入，将我们的分析框架设定为概率密度空间中神经 SDE 的可控性问题。这揭示了噪声如何帮助引导系统趋向期望解，并阐明了随机性在生成建模中取得经验性成功的原因。
引用
@article{arxiv.2312.07851,
title = {Noise in the reverse process improves the approximation capabilities of diffusion models},
author = {Karthik Elamvazhuthi and Samet Oymak and Fabio Pasqualetti},
journal= {arXiv preprint arXiv:2312.07851},
year = {2023}
}
备注
Extended preprint for submission to Learning for Dynamics & Control Conference