CFG++：基于流形约束的扩散模型分类器自由引导
计算机视觉与模式识别
2024-09-13 v2 人工智能
机器学习
摘要
分类器自由引导（CFG）是现代扩散模型中用于文本引导生成的基本工具。虽然效果良好，但CFG存在诸多局限性。例如，带CFG的DDIM缺乏可逆性，使图像编辑复杂化；此外，高指导尺度虽对高质量输出至关重要，却常常导致模式崩溃。与普遍认为这些是扩散模型固有局限的观念相反，本文揭示，这些问题实际源自CFG所致的离流形现象，而非扩散模型本身。更具体地，灵感来自最近针对扩散模型逆问题求解器（DIS）的进展，我们将文本引导重新表述为一个带文本条件得分匹配损失的逆问题，并开发了CFG++，一种新方法，旨在解决传统CFG固有的离流形挑战。CFG++对CFG的一个惊人简单修复却带来显著改进，包括更好的文本到图像生成样本质量、可逆性、更小的引导尺度、减少模式崩溃等。此外，CFG++可在较低的引导尺度下无缝实现无条件与条件抽样之间的插值，在所有尺度上均一致优于传统CFG。进一步地，CFG++可轻松集成到高阶扩散求解器中，并自然扩展到蒸馏扩散模型。实验结果表明，我们的方法在文本到图像生成、DDIM反向、编辑以及求解逆问题方面显著提升性能，表明其在诸多依赖文本引导的领域具有广泛的影响和潜在应用。项目页面：https://cfgpp-diffusion.github.io/。
引用
@article{arxiv.2406.08070,
title = {CFG++: Manifold-constrained Classifier Free Guidance for Diffusion Models},
author = {Hyungjin Chung and Jeongsol Kim and Geon Yeong Park and Hyelin Nam and Jong Chul Ye},
journal= {arXiv preprint arXiv:2406.08070},
year = {2024}
}
备注
25 pages, 21 figures. Project Page: https://cfgpp-diffusion.github.io/