奇异值缩放：通过修剪权重实现高效生成模型压缩

虽然修剪方法能够在无需额外训练的情况下保持模型性能，但它们往往仅关注保留关键连接，忽略了修剪后权重对后续微调或蒸馏的影响，导致效率低下。此外，大多数针对生成模型的压缩技术主要为 GAN 开发，针对特定架构（如 StyleGAN）进行设计，而针对扩散模型 (Diffusion models) 的研究仅刚刚开始。更甚者，这些方法通常仅适用于 GAN 或扩散模型，凸显了需要一种兼容两者的通用方法。本文引入奇异值缩放 (Singular Value Scaling, SVS)，一种用于精炼修剪后权重的通用技术，适用于两种模型类型。我们的分析揭示，修剪后的权重常常表现出主导奇异向量，阻碍微调效率并导致性能逊于随机初始化。该方法通过最小化修剪后权重奇异值之间的差异，改进了权重初始化，从而提升了微调过程。这一方法不仅引导压缩模型寻求更优解，还显著加速了微调。对 StyleGAN2、StyleGAN3 和 DDPM 的大量实验表明，SVS 在无需额外训练的情况下提升了两种模型类型的压缩性能。我们的代码已公开：https://github.com/LAIT-CVLab/Singular-Value-Scaling。