WaDi：基于权重方向的蒸馏用于单步图像合成
计算机视觉与模式识别
2026-03-10 v1
摘要
尽管扩散模型如 Stable Diffusion 在图像生成方面表现卓越，但其推理速度慢限制了实际部署。最近的工作通过将多步扩散蒸馏为单步生成器来加速推理。为更好地理解蒸馏机制，我们分析了单步学生与其多步教师之间的 U-Net/DiT 权重变化。我们的分析表明，权重方向的变化显著大于权重范数变化，表明其在蒸馏过程中是关键因素。针对这一洞察，我们提出 Low-rank Rotation of weight Direction (LoRaD)，一种针对单步扩散蒸馏的参数高效适配器。LoRaD 设计用于使用可学习的低秩旋转矩阵来建模这些结构化的方向变化。我们进一步将 LoRaD 集成到变分得分蒸馏 (VSD) 中，形成 Weight Direction-aware Distillation (WaDi)——一种新的单步蒸馏框架。WaDi 在 COCO 2014 和 COCO 2017 上实现了 state-of-the-art FID 分数，仅使用约 10% 的 U-Net/DiT 可训练参数。此外，蒸馏后的单步模型在可控生成、关系反转和高分辨率合成等各类下游任务上表现出强大的通用性和可扩展性。
引用
@article{arxiv.2603.08258,
title = {WaDi: Weight Direction-aware Distillation for One-step Image Synthesis},
author = {Lei Wang and Yang Cheng and Senmao Li and Ge Wu and Yaxing Wang and Jian Yang},
journal= {arXiv preprint arXiv:2603.08258},
year = {2026}
}
备注
Accepted to CVPR 2026;Code:https://github.com/gudaochangsheng/WaDi