基于频域移动平均的扩散模型提升

扩散模型最近在图像生成领域带来了强大的革命。尽管展现出惊人的生成能力，但这些模型大多依赖当前样本对下一个样本进行去噪，可能导致去噪不稳定。本文重新诠释了迭代去噪过程作为模型优化，并利用移动平均机制对ensemble 所有先前样本。在仅仅对不同时间步的去噪样本应用移动平均，而是首先将去噪样本映射到数据空间，然后在每个分量上执行移动平均，以避免跨时间步的分布迁移。在视角上，扩散模型从低频成分演化到高频细节，进一步将样本分解为不同的频率分量，并在每个分量上单独执行移动平均。我们将完整方法称为"频域移动平均采样(MASF)"。MASF 可无缝集成到主流预训练扩散模型和采样计划中。在无条件和条件扩散模型上的大量实验表明，我们的MASF相对于基线表现出优异性能，而几乎没有额外的复杂度开销。