扩散模型中正则化与 Fokker-Planck 残差的分析——用于图像生成
计算机视觉与模式识别
2026-04-17 v1 机器学习
摘要
最近的研究表明，针对扩散模型使用的去噪得分匹配（DSM）目标进行训练时，常常会违反支配真实数据密度演化的 Fokker-Planck（FP）方程。直接在目标函数中对这些偏差进行惩罚，能够降低其幅度，但会引入显著的计算开销。此外，也观察到，对 FP 方程严格遵循并不一定导致生成样本质量的改进，因为通常最佳结果是通过较弱的 FP 正则化获得的。本文我们研究是否可以采用更简单的参数项来提供类似的益处。我们对几种轻量级正则化器进行经验性分析，研究其对 FP 残差和生成质量的影响，并表明 FP 正则化的优势可以在显著降低的计算成本下实现。我们的代码已公开于 https://github.com/OnnoNiemann/fp_diffusion_analysis。
引用
@article{arxiv.2604.15171,
title = {An Analysis of Regularization and Fokker-Planck Residuals in Diffusion Models for Image Generation},
author = {Onno Niemann and Gonzalo Martínez Muñoz and Alberto Suárez Gonzalez},
journal= {arXiv preprint arXiv:2604.15171},
year = {2026}
}
备注
Accepted at IJCNN 2026 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works