基于在线反馈的动态无分类器扩散引导
机器学习
2025-09-23 v2 计算机视觉与模式识别
摘要
无分类器引导（CFG）是文本到图像扩散模型的基石，然而其有效性受限于静态引导尺度的使用。这种“一刀切”的方法无法适应不同提示词的多样化需求；此外，诸如基于梯度的校正或固定启发式调度等现有解决方案引入了额外的复杂性且难以泛化。在这项工作中，我们通过引入动态CFG调度框架来挑战这一静态范式。我们的方法利用来自一套通用和专业化的小规模潜在空间评估（例如用于对齐的CLIP、用于保真度的判别器以及人类偏好奖励模型）的在线反馈，以评估反向扩散过程每一步的生成质量。基于此反馈，我们执行贪心搜索以为每个时间步选择最优的CFG尺度，从而创建为每个提示词和样本量身定制的独特引导调度。我们在小规模模型和最先进的Imagen 3上展示了我们方法的有效性，表明在文本对齐、视觉质量、文本渲染和数值推理方面有显著提升。值得注意的是，与默认的Imagen 3基线相比，我们的方法在整体偏好上实现了高达53.8%的人类偏好胜率，在针对文本渲染等特定能力的提示词上，该数字提升至55.5%。我们的工作确立了最优引导调度本质上是动态且依赖于提示词的，并提供了一个高效且可泛化的框架来实现它。
引用
@article{arxiv.2509.16131,
title = {Dynamic Classifier-Free Diffusion Guidance via Online Feedback},
author = {Pinelopi Papalampidi and Olivia Wiles and Ira Ktena and Aleksandar Shtedritski and Emanuele Bugliarello and Ivana Kajic and Isabela Albuquerque and Aida Nematzadeh},
journal= {arXiv preprint arXiv:2509.16131},
year = {2025}
}