LD-Pruner: 利用任务无关洞察的高效潜在扩散模型剪枝
机器学习
2024-04-19 v1 人工智能
计算机视觉与模式识别
摘要
潜在扩散模型（LDM）已成为强大的生成模型，以在有限计算资源下产生显著结果而闻名。然而，在资源受限设备上部署LDM仍然是一个复杂问题，带来了内存消耗和推理速度等挑战。为了解决这个问题，我们引入了LD-Pruner，一种新颖的保持性能的结构化剪枝方法，用于压缩LDM。传统的深度神经网络剪枝方法并不适用于LDM的独特特性，例如训练的高计算成本以及缺乏快速、直接且任务无关的模型性能评估方法。我们的方法通过在剪枝过程中利用潜在空间来应对这些挑战，使我们能够有效地量化剪枝对模型性能的影响，且独立于手头的任务。这种对输出影响最小的组件的定向剪枝允许在训练期间更快收敛，因为模型需要重新学习的信息更少，从而解决了训练的高计算成本问题。因此，我们的方法实现了压缩模型，提供了改进的推理速度和减少的参数数量，同时保持最小的性能下降。我们在三个不同任务上展示了我们方法的有效性：文本到图像（T2I）生成、无条件图像生成（UIG）和无条件音频生成（UAG）。值得注意的是，我们在MS-COCO T2I基准上将稳定扩散（SD）的推理时间减少了34.9%，同时将其FID提高了5.2%。这项工作为LDM的更高效剪枝方法铺平了道路，增强了它们的适用性。
引用
@article{arxiv.2404.11936,
title = {LD-Pruner: Efficient Pruning of Latent Diffusion Models using Task-Agnostic Insights},
author = {Thibault Castells and Hyoung-Kyu Song and Bo-Kyeong Kim and Shinkook Choi},
journal= {arXiv preprint arXiv:2404.11936},
year = {2024}
}
备注
8 pages, accepted to CVPR24 First Workshop on Efficient and On-Device Generation (EDGE)