常见的扩散噪声调度与采样步数存在缺陷
计算机视觉与模式识别
2024-01-25 v4
摘要
我们发现常见的扩散噪声调度并未强制最后一个时间步具有零信噪比(SNR),并且某些扩散采样器的实现并非从最后一个时间步开始。此类设计存在缺陷,未能反映推理时模型被给定纯高斯噪声这一事实,从而造成了训练与推理之间的不一致。我们表明,这种有缺陷的设计在现有实现中会引发实际问题。在 Stable Diffusion 中,它严重限制了模型只能生成中等亮度的图像,并阻止其生成极亮和极暗的样本。我们提出了几个简单的修复方法:(1) 重新缩放噪声调度以强制零终端 SNR;(2) 使用 v prediction 训练模型;(3) 将采样器改为始终从最后一个时间步开始;(4) 重新缩放无分类器引导以防止过曝。这些简单的改动确保了扩散过程在训练与推理之间的一致性,并允许模型生成更忠实于原始数据分布的样本。
引用
@article{arxiv.2305.08891,
title = {Common Diffusion Noise Schedules and Sample Steps are Flawed},
author = {Shanchuan Lin and Bingchen Liu and Jiashi Li and Xiao Yang},
journal= {arXiv preprint arXiv:2305.08891},
year = {2024}
}