基于分数的密度公式及其在扩散生成模型中的应用
机器学习
2024-08-30 v1 人工智能
概率论
统计理论
机器学习
统计理论
摘要
基于分数的生成模型（SGMs）彻底改变了生成建模领域，在生成逼真且多样化的内容方面取得了前所未有的成功。尽管在经验上取得了进展，但为何优化对数似然的证据下界（ELBO）对训练 DDPMs 等扩散生成模型是有效的，其理论基础在很大程度上仍未被探索。在本文中，我们通过为连续时间扩散过程建立一个密度公式来回答这一问题，该过程可被视为 SGM 中前向过程的连续时间极限。该公式揭示了目标密度与前向过程每一步相关的分数函数之间的联系。在此基础上，我们证明了训练 DDPMs 的优化目标的最小化点与真实目标的最小化点几乎重合，为使用 ELBO 优化 DDPMs 提供了理论基础。此外，我们为训练 GANs 时分数匹配正则化的作用、ELBO 在扩散分类器中的使用以及最近提出的扩散损失提供了新的见解。
引用
@article{arxiv.2408.16765,
title = {A Score-Based Density Formula, with Applications in Diffusion Generative Models},
author = {Gen Li and Yuling Yan},
journal= {arXiv preprint arXiv:2408.16765},
year = {2024}
}