利用自注意力引导提升扩散模型的采样质量
计算机视觉与模式识别
2023-08-25 v6 人工智能
机器学习
摘要
去噪扩散模型（DDMs）因其卓越的生成质量与多样性而受到关注。这一成功很大程度上归功于类条件或文本条件扩散引导方法的使用，如分类器引导与无分类器引导。本文中，我们提出超越传统引导方法的更全面的视角。从该广义视角出发，我们引入新颖的无需条件与训练的免费策略来增强生成图像的质量。作为一个简单方案，模糊引导改善了中间样本对其精细尺度信息与结构的适用性，使扩散模型能以适中引导尺度生成更高质量样本。在此基础上，自注意力引导（SAG）利用扩散模型的中间自注意力图来增强其稳定性与有效性。具体而言，SAG 在每次迭代中仅对扩散模型所关注的区域进行对抗性模糊并相应引导它们。我们的实验结果表明，我们的 SAG 提升了多种扩散模型（包括 ADM、IDDPM、Stable Diffusion 与 DiT）的性能。此外，将 SAG 与传统引导方法结合可带来进一步改进。
引用
@article{arxiv.2210.00939,
title = {Improving Sample Quality of Diffusion Models Using Self-Attention Guidance},
author = {Susung Hong and Gyuseong Lee and Wooseok Jang and Seungryong Kim},
journal= {arXiv preprint arXiv:2210.00939},
year = {2023}
}
备注
Accepted to ICCV 2023. Project Page: https://ku-cvlab.github.io/Self-Attention-Guidance