CoSpaDi：通过校准引导的稀疏字典学习压缩大语言模型
计算与语言
2026-05-05 v5 人工智能
摘要
大语言模型(LLM)的训练后压缩通常依赖于低秩权重近似，该方法将权重矩阵的每一列表示在共享的低维子空间中。此策略计算效率高，但底层约束对异构投影权重可能过于严格，并可能导致可避免的精度损失。我们提出CoSpaDi（通过稀疏字典学习进行压缩），一个无需训练的框架，用结构化稀疏分解替代低秩分解，其中每个权重矩阵表示为一个稠密字典乘以一个列稀疏系数矩阵。这产生了一个子空间并集模型：权重矩阵的列表示为不同字典原子子集的线性组合，在固定参数预算下提高了表达能力。CoSpaDi是校准引导的：使用一个小校准集，我们优化分解以最小化层输出的功能重构误差而非权重空间误差。基于激活的Gram正交化将这一数据感知目标转化为变换权重上的标准字典学习问题，并且我们支持每层压缩以及相似投影组内的跨层字典共享。在Llama和Qwen模型族中，CoSpaDi在20–40%压缩比下始终优于最先进SVD基基线和强结构化剪枝基线。所得到的结构化稀疏性支持稀疏-稠密计算，并与稀疏系数的训练后量化集成。代码可在https://github.com/mts-ai/CoSpaDi获取。
引用
@article{arxiv.2509.22075,
title = {CoSpaDi: Compressing LLMs via Calibration-Guided Sparse Dictionary Learning},
author = {Denis Makhov and Dmitriy Shopkhoev and Magauiya Zhussip and Ammar Ali and Stamatios Lefkimmiatis},
journal= {arXiv preprint arXiv:2509.22075},
year = {2026}
}