对比式 CFG：通过对比正负概念提升扩散模型中的 CFG
机器学习
2024-11-27 v1 人工智能
计算机视觉与模式识别
摘要
由于分类器自由指南（CFG）在条件扩散模型采样中证明有效，用于提高条件对齐，许多应用会使用否定 CFG 项来从样本中过滤掉不希望的特征。然而，仅仅对 CFG 指导取否会创建逆向概率分布，常常使样本偏离边际分布。灵感来自条件扩散模型处理逆问题的最新进展，本文提出一种新方法，通过对比损失来增强负向 CFG 指导。具体而言，我们的指导项通过对比损失将去噪方向对齐或排斥，从而实现与传统 CFG 相同的正向指导方向，同时克服现有负向指导方法的局限性。实验结果表明，我们的方法在各种场景下均能有效移除不希望的概念，同时保持样本质量，从简单类别条件到复杂且重叠的文本提示。
引用
@article{arxiv.2411.17077,
title = {Contrastive CFG: Improving CFG in Diffusion Models by Contrasting Positive and Negative Concepts},
author = {Jinho Chang and Hyungjin Chung and Jong Chul Ye},
journal= {arXiv preprint arXiv:2411.17077},
year = {2024}
}
备注
14 pages, 8 figures