ImPart：面向 LLM 模型压缩与合并的基于重要性的增量稀疏化
计算与语言
2025-04-21 v1
摘要
随着任务特定大型语言模型的不断涌现，delta 压缩作为一种缓解大量此类模型部署资源挑战的方法日益受到关注，通过有效压缩 delta 模型参数来实现目标。先前的 delta 稀疏化方法要么随机删除参数，要么直接在奇异值分解 (SVD) 之后截断奇异向量。然而，这些方法要么完全忽视参数的重要性，要么以过粗的粒度评估其重要性。为此，我们提出一种新型重要性感知的 delta 稀疏化方法 ImPart。该方法基于 SVD，动态调整不同奇异向量的稀疏比例，依据其重要性，从而即使在高稀疏比例下也能有效保留关键任务相关知识。实验表明，ImPart 在 delta 稀疏化方面实现了最先进的性能，在相同性能水平下实现 2 倍以上的压缩比率。当与现有方法集成时，ImPart 在 delta 量化和模型合并任务上也均达到了新的最佳水平。
引用
@article{arxiv.2504.13237,
title = {ImPart: Importance-Aware Delta-Sparsification for Improved Model Compression and Merging in LLMs},
author = {Yan Yang and Yixia Li and Hongru Wang and Xuetao Wei and Jianqiao Yu and Yun Chen and Guanhua Chen},
journal= {arXiv preprint arXiv:2504.13237},
year = {2025}
}