OFA-Diffusion压缩：面向扩散模型的单次压缩框架
计算机视觉与模式识别
2026-04-15 v1
摘要
扩散概率模型（DPM）在图像生成中取得了显著的性能，但其日益增长的参数规模和计算开销阻碍了其在实际应用中的部署。为改善此情况，现有文献 focuses on通过模型压缩获得固定架构下的较小模型。然而，实际中，DPM需要部署于各种资源约束不同的设备上，这导致多次压缩过程，造成重复训练的显著开销。为消除这一问题，我们提出了面向DPM的一次性（OFA）压缩框架，通过单次训练方式产生具有不同计算资源的多个子网络。现有的OFA框架通常涉及大量参数规模不同的子网络，而这种巨大的候选空间会减慢优化速度。因此，我们提出限制候选子网络具有特定参数规模集合，其中每个规模对应特定子网络。具体而言，为构建给定大小的子网络，我们逐步按重要性分配所需通道。此外，我们提出了重新加权策略来平衡不同子网络的优化过程。实验结果表明，我们的方法能够以显著降低的训练开销为各种规模的DPM生成压缩模型，同时实现令人满意的性能。
引用
@article{arxiv.2604.12668,
title = {OFA-Diffusion Compression: Compressing Diffusion Model in One-Shot Manner},
author = {Haoyang Jiang and Zekun Wang and Mingyang Yi and Xiuyu Li and Lanqing Hu and Junxian Cai and Qingbin Liu and Xi Chen and Ju Fan},
journal= {arXiv preprint arXiv:2604.12668},
year = {2026}
}