中文

CADS:通过条件退火采样释放扩散模型的多样性

计算机视觉与模式识别 2024-05-14 v4

摘要

尽管条件扩散模型已知对数据分布具有良好的覆盖能力,但它们在输出多样性方面仍存在局限,尤其是在以高分类器无关引导尺度采样以获得最佳图像质量时,或在小规模数据集上训练时。我们将此问题归因于推理过程中条件信号的作用,并提出了一种改进的扩散模型采样策略,能够在高引导尺度下以极小的样本质量损失提升生成多样性。我们的采样策略通过对条件向量在推理过程中加入有调度的、单调递减的高斯噪声来退火条件信号,以平衡多样性与条件对齐。我们的条件退火扩散采样器(Condition-Annealed Diffusion Sampler, CADS)可用于任何预训练模型和采样算法,并且我们展示了它在多种条件生成任务中提升了扩散模型的多样性。此外,使用现有的预训练扩散模型,CADS 在 256×\times256 和 512×\times512 的类条件 ImageNet 生成上分别取得了 1.70 和 2.31 的新的 SOTA FID。

关键词

引用

@article{arxiv.2310.17347,
  title  = {CADS: Unleashing the Diversity of Diffusion Models through Condition-Annealed Sampling},
  author = {Seyedmorteza Sadat and Jakob Buhmann and Derek Bradley and Otmar Hilliges and Romann M. Weber},
  journal= {arXiv preprint arXiv:2310.17347},
  year   = {2024}
}

备注

Published as a conference paper at ICLR 2024