LAPTOP-Diff：用于压缩扩散模型的分层修剪与归一化蒸馏
计算机视觉与模式识别
2025-03-06 v4
摘要
在 AIGC 时代，针对扩散模型的低预算甚至设备内应用需求日益增长。针对压缩 Stable Diffusion 模型（SDM），已提出若干方法，大多数方法利用手工设计的层移除方式获取较小的 U-Net，同时通过知识蒸馏恢复网络性能。然而，这种手工方式的层移除效率低下，缺乏可扩展性和普适性，且在再训练阶段所采用的数据蒸馏面临特征不平衡问题——少数数值显著的数据损失项在整个再训练过程中主导其他项。为此，我们提出了用于压缩扩散模型的层修剪与归一化蒸馏方法（LAPTOP-Diff）。我们首先引入层修剪方法自动压缩 SDM 的 U-Net，并提出一种有效的单次修剪准则，其单次性能由其良好的可加性质保证，超越其他层修剪和手工设计的层移除方法；其次，我们提出归一化特征蒸馏进行再训练，缓解了不平衡问题。采用所提出的 LAPTOP-Diff，我们压缩了 SDXL 和 SDM-v1.5 的 U-Net，实现了最先进的性能，在修剪比率为 50% 时，PickScore 下降最小为 4.0%，而对比方法的最小 PickScore 下降为 8.2%。
引用
@article{arxiv.2404.11098,
title = {LAPTOP-Diff: Layer Pruning and Normalized Distillation for Compressing Diffusion Models},
author = {Dingkun Zhang and Sijia Li and Chen Chen and Qingsong Xie and Haonan Lu},
journal= {arXiv preprint arXiv:2404.11098},
year = {2025}
}