在有限区间内施加引导可提升扩散模型的样本与分布质量
计算机视觉与模式识别
2024-11-07 v2 人工智能
机器学习
神经与进化计算
机器学习
摘要
引导是从图像生成扩散模型中提取最佳性能的关键技术。传统上，在图像的整个采样链中会施加恒定的引导权重。我们表明，引导在采样链初期（高噪声水平）明显有害，在末期（低噪声水平）很大程度上是不必要的，仅在中段有益。因此，我们将其限制在特定的噪声水平范围内，从而同时提升了推理速度和结果质量。这种有限引导区间将 ImageNet-512 上的记录 FID 从 1.81 显著提升至 1.40。我们证明，它在不同的采样器参数、网络架构和数据集（包括 Stable Diffusion XL 的大规模设置）上，在定量和定性方面均有益处。因此，我们建议在所有使用引导的扩散模型中将引导区间作为一个超参数暴露出来。
引用
@article{arxiv.2404.07724,
title = {Applying Guidance in a Limited Interval Improves Sample and Distribution Quality in Diffusion Models},
author = {Tuomas Kynkäänniemi and Miika Aittala and Tero Karras and Samuli Laine and Timo Aila and Jaakko Lehtinen},
journal= {arXiv preprint arXiv:2404.07724},
year = {2024}
}
备注
NeurIPS 2024