生成扩散模型中的自发对称性破缺
机器学习
2023-10-27 v3 计算机视觉与模式识别
摘要
生成扩散模型近来已成为生成高维数据的主流方法。本文中，我们表明这些模型的动力学表现出一种自发对称性破缺，将生成动力学划分为两个截然不同的阶段：1）围绕中心不动点的线性稳态动力学；2）指向数据流形的吸引子动力学。这两个“相”由中心不动点稳定性的变化所分隔，由此产生的不稳定窗口负责生成样本的多样性。利用理论与经验证据，我们表明早期动力学的精确模拟对最终生成并无显著贡献，因为早期涨落会回归至中心不动点。为利用这一洞见，我们提出了一种高斯晚期初始化方案，其显著提升了模型性能，在快速采样器上取得高达 3 倍 FID 提升，同时增加了样本多样性（例如所生成 CelebA 图像的种族构成）。我们的工作提供了一种理解扩散模型生成动力学的新途径，有望带来更高性能且偏差更小的快速采样器。
引用
@article{arxiv.2305.19693,
title = {Spontaneous Symmetry Breaking in Generative Diffusion Models},
author = {Gabriel Raya and Luca Ambrogioni},
journal= {arXiv preprint arXiv:2305.19693},
year = {2023}
}
备注
As published at NeurIPS 2023, and the size of the file has been optimized for fast downloading