GRASP：用自适应奇异参数替换冗余层实现高效模型压缩
计算与语言
2026-02-24 v4 机器学习
摘要
最近的研究表明，许多层在大型语言模型(LLMs)中是功能上冗余的，通过删除这些层来实现模型压缩可降低推理成本。虽然此类方法可以提高效率，但不加区分的层剔除常导致显著的性能下降。本文提出了GRASP(梯度基保留自适应奇异参数)，一种新型压缩框架，通过保留敏感性感知的奇异值来缓解此问题。不同于直接的层剔除，GRASP利用来自小型校准数据集的梯度归因，自适应地识别并保留关键奇异组件。通过用最小参数集替换冗余层，GRASP在保持强大性能的同时实现了高效压缩。跨多个LLM的实验表明，GRASP始终优于现有压缩方法，在20%压缩比下可达到原始模型90%的性能。
引用
@article{arxiv.2501.00339,
title = {GRASP: Replace Redundant Layers with Adaptive Singular Parameters for Efficient Model Compression},
author = {Kainan Liu and Yong Zhang and Ning Cheng and Zhitao Li and Shaojun Wang and Jing Xiao},
journal= {arXiv preprint arXiv:2501.00339},
year = {2026}
}
备注
EMNLP 2025(Main)