1.x-Distill：打破分布匹配蒸馏中的多样性、质量与效率壁垒
计算机视觉与模式识别
2026-04-07 v1
摘要
扩散模型产生高质量的文本到图像结果，但其迭代去噪计算昂贵。分布匹配蒸馏（DMD）作为一种前景路径，实现了少步蒸馏，但在缩减至两步或更少时， suffers from diversity collapse and fidelity degradation。我们提出1.x-Distill，首个分数步蒸馏框架，突破了先前方法的整数步限制，确立了1.x步生成为蒸馏扩散模型的实用 regime。具体而言，我们首先分析了DMD中教师CFG被忽视的作用，提出一种简单有效的修改以抑制模式崩溃。随后，为提高极端步数的性能，我们引入阶段聚焦蒸馏，这是一种两阶段策略，通过保持多样性的分布匹配学习粗糙结构，并通过推理一致的对抗蒸馏细化细节。进一步，我们设计了轻量级的Distill--Cache联合训练补偿模块，自然地将块级缓存整合到蒸馏管道中。在SD3-Medium和SD3.5-Large上的实验表明，1.x-Distill超过了先前的少步方法，在分别以1.67和1.74个有效NFE实现更好的质量和多样性，速度提升最高可达原28x2 NFE采样的33倍。
引用
@article{arxiv.2604.04018,
title = {1.x-Distill: Breaking the Diversity, Quality, and Efficiency Barrier in Distribution Matching Distillation},
author = {Haoyu Li and Tingyan Wen and Lin Qi and Zhe Wu and Yihuang Chen and Xing Zhou and Lifei Zhu and Xueqian Wang and Kai Zhang},
journal= {arXiv preprint arXiv:2604.04018},
year = {2026}
}
备注
Project page: https://thu-accdiff.github.io/1.x-distill-page/