学习生成扩散模型的可解模型：理论与洞见
机器学习
2025-11-11 v2 无序系统与神经网络
摘要
在本手稿中，我们考虑学习一个由两层自编码器参数化的流或基于扩散的生成模型，该模型通过在线随机梯度下降在高维目标密度上进行训练，该目标密度具有潜在的低维流形结构。我们推导了由学习模型生成的样本分布的低维投影的紧渐近刻画，特别是其依赖于训练样本数量的性质。基于这一分析，我们讨论了模式崩溃（mode collapse）如何产生，以及当生成模型在生成的合成数据上重新训练时如何导致模型崩溃（model collapse）。
引用
@article{arxiv.2501.03937,
title = {A solvable model of learning generative diffusion: theory and insights},
author = {Hugo Cui and Cengiz Pehlevan and Yue M. Lu},
journal= {arXiv preprint arXiv:2501.03937},
year = {2025}
}