利用弱到强分段引导提升扩散模型的泛化能力
计算机视觉与模式识别
2026-03-24 v1
摘要
扩散模型通过迭代细化过程生成合成图像。然而，仿真自由目标与迭代过程之间的错位常导致沿采样轨迹积累的梯度误差，导致结果不理想且难以泛化。诸如无分类器引导（CFG）和自动引导（AG）等引导技术通过在主信号与次等信号之间进行外推来缓解此问题，实现更好的泛化。尽管已有实证成功，但主流引导方法的有效操作范围仍未得到充分探索，导致在给定前提条件时选择合适引导方法时存在模糊性。本文首先从弱到强原则出发，进行合成比较，以隔离并展示以 CFG 和 AG 表示的引导方法的有效范围。基于此，我们提出一种称为 SGG 的混合实现，取两者之长。进一步地，我们展示了 W2S 原则以及 SGG 可被迁移到训练目标中，从而提高无引导扩散模型的泛化能力。我们通过全面实验进行验证。在推理阶段，SD3 和 SD3.5 上的评估表明 SGG 在现有训练-free 引导变体中表现更优。训练阶段的 Transformer 架构实验显示，其迁移效果显著且在条件和无条件设置下均取得性能提升。代码已公开于 https://github.com/851695e35/SGG。
引用
@article{arxiv.2603.20584,
title = {Improving Diffusion Generalization with Weak-to-Strong Segmented Guidance},
author = {Liangyu Yuan and Yufei Huang and Mingkun Lei and Tong Zhao and Ruoyu Wang and Changxi Chi and Yiwei Wang and Chi Zhang},
journal= {arXiv preprint arXiv:2603.20584},
year = {2026}
}
备注
22 pages, 12 figures