解耦 DMD：CFG 增强作为枪杆，分布匹配作为盾牌
计算机视觉与模式识别
2025-12-01 v1
摘要
扩散模型蒸馏日益成为创建高效少步或单步生成器的强大技术。其中，分布匹配蒸馏（DMD）及其变体因表现突出而广受青睐，这种优异性能广泛归因于其核心机制，即将学生模型的输出分布匹配到预训练教师模型的分布。本文挑战了这一常规认识。通过对 DMD 训练目标进行严格分解，我们揭示在文本到图像生成等复杂任务中（通常需要 CFG 以实现理想的少步性能），少步蒸馏的主要驱动力并非分布匹配，而是我们识别出的一种被忽视的组成部分——CFG 增强（CFG Augmentation, CA）。我们演示了这一术语作为蒸馏的核心“引擎”，而分布匹配（Distribution Matching, DM）则是作为“正则化器”，确保训练稳定性并缓解 artifacts 的作用。我们进一步通过表明 DM 项虽为高效正则化器，但并非唯一选择；更简单的非参数约束或基于 GAN 的目标也可 serve 相同的稳定功能，尽管在不同权衡下。这种劳动分离激发了对两项功能的更原则性分析，导致对其性质的更系统性和深入理解。这种新认识进一步使我们能够提出蒸馏过程的原则性修改，例如解耦引擎与正则化器的噪声计划，从而获得进一步的性能提升。值得注意的是，我们的方法已被 Z-Image ( https://github.com/Tongyi-MAI/Z-Image ) 项目采纳，用于开发顶级 8 步图像生成模型，经验性地验证了我们发现的概括性和鲁棒性。
引用
@article{arxiv.2511.22677,
title = {Decoupled DMD: CFG Augmentation as the Spear, Distribution Matching as the Shield},
author = {Dongyang Liu and Peng Gao and David Liu and Ruoyi Du and Zhen Li and Qilong Wu and Xin Jin and Sihan Cao and Shifeng Zhang and Hongsheng Li and Steven Hoi},
journal= {arXiv preprint arXiv:2511.22677},
year = {2025}
}