中文

通过语义退化条件引导扩散模型

计算机视觉与模式识别 2026-03-12 v1

摘要

分类器自由指导(Classifier-Free Guidance, CFG)是现代文本到图像模型的基石,但其依赖语义空洞的空提示词(\varnothing)会产生易受几何纠缠的指导信号,这是限制其精度的关键因素,导致在复杂组合任务中出现显著失效。我们提出条件退化指导(Condition-Degradation Guidance, CDG)一种新范式,将空提示词替换为策略性退化的条件 cdeg\boldsymbol{c}_{\text{deg}}。这将指导从粗糙的“好 vs. 空”对比重构为更精细的“好 vs. 接近好”区分,从而迫使模型捕获细粒度语义差异。我们发现变换器文本编码器中的标记分为两种功能角色:编码对象语义的内容标记,以及捕获全局语境的上下文聚合标记。通过仅退化前者,CDG 在无需外部模型或训练的情况下构建 cdeg\boldsymbol{c}_{\text{deg}}。在包括 Stable Diffusion 3、FLUX 和 Qwen-Image 在内的多种架构上进行验证,CDG 在组合准确性和文本图像对齐方面显著提升。作为一种轻量级、即插即用的模块,CDG 仅需极少的计算开销即可实现。我们的工作挑战了静态信息稀疏负样本的依赖,确立了扩散指导的新原则:构建自适应且语义感知的负样本对于实现精确语义控制至关重要。代码已公开于 https://github.com/Ming-321/Classifier-Degradation-Guidance。

关键词

引用

@article{arxiv.2603.10780,
  title  = {Guiding Diffusion Models with Semantically Degraded Conditions},
  author = {Shilong Han and Yuming Zhang and Hongxia Wang},
  journal= {arXiv preprint arXiv:2603.10780},
  year   = {2026}
}

备注

Accepted to CVPR 2026