高维生成模型中噪声调度的优化
机器学习
2025-01-03 v1
摘要
近期工作表明，扩散模型会经历相变，解决相变对于准确生成样本是必需的。这促使了不同噪声调度的使用，其中最常见的两种选择被称为保差和爆差。在此，我们在随机插值的框架内重新审视这些调度。使用高斯混合（GM）和 Curie-Weiss（CW）数据分布作为测试用例模型，我们首先研究了初始噪声分布方差的影响，并表明 VP 能够恢复低层特征（每个模式的分布），但会丢失高层特征（模式间的不对称性），而 VE 的表现则恰恰相反。我们还表明，当在每个步骤中进行恒定量的去噪时会发生这种二分法，可以通过使用特定于 VP 和 VE 的噪声调度来避免该现象，这些调度允许同时恢复高层和低层特征。最后我们表明，这些调度为 GM 和 CW 模型生成了生成模型，其概率流 ODE 在 维空间中可以使用 步进行离散化，而不是恒定去噪所需的 步。
引用
@article{arxiv.2501.00988,
title = {Optimizing Noise Schedules of Generative Models in High Dimensionss},
author = {Santiago Aranguri and Giulio Biroli and Marc Mezard and Eric Vanden-Eijnden},
journal= {arXiv preprint arXiv:2501.00988},
year = {2025}
}