子流形假设下扩散模型中奇异性的数学分析
机器学习
2024-12-11 v4 数值分析
数值分析
机器学习
摘要
本文关注机器学习中扩散模型的数学分析。反向采样过程的漂移项表示为涉及数据分布与正向扩散的条件期望。训练过程旨在通过最小化与该条件期望相关的均方残差来寻找此类漂移函数。利用正向扩散格林函数的小时间近似，我们表明对于集中于低维流形上的奇异数据分布，DDPM中的解析平均漂移函数与SGM中的得分函数在采样过程最后阶段渐近发散，因此难以由网络逼近。为克服此困难，我们推导了新的目标函数及关联损失，其即使对于奇异数据分布也保持有界。我们通过若干数值例子验证了理论发现。
引用
@article{arxiv.2301.07882,
title = {Mathematical analysis of singularities in the diffusion model under the submanifold assumption},
author = {Yubin Lu and Zhongjian Wang and Guillaume Bal},
journal= {arXiv preprint arXiv:2301.07882},
year = {2024}
}