生成扩散模型的统计热力学：相变、对称破缺与临界不稳定性
机器学习
2024-06-21 v4 机器学习
摘要
生成扩散模型在机器学习与生成建模的诸多领域取得了卓越表现。尽管这些模型背后的基本思想源自非平衡物理、变分推断与随机微积分，本文中我们表明，可利用平衡统计力学的工具理解这些模型的许多方面。借助这一重构，我们证明生成扩散模型经历对应于对称破缺现象的第二类相变。我们表明这些相变总处于平均场普适性类中，因为它们是生成动力学中自洽条件的结果。我们论证由相变产生的临界不稳定性位于其生成能力的核心，并以一组平均场临界指数刻画。最后，我们证明生成过程的动力学方程可解释为在保持系统热平衡的同时最小化自由能的随机绝热变换。
引用
@article{arxiv.2310.17467,
title = {The statistical thermodynamics of generative diffusion models: Phase transitions, symmetry breaking and critical instability},
author = {Luca Ambrogioni},
journal= {arXiv preprint arXiv:2310.17467},
year = {2024}
}