GRAIL：基于线性重构的压缩网络后置补偿
机器学习
2026-03-03 v2
摘要
结构化深度模型压缩方法因硬件友好性和显著降低内存与推理成本而受到青睞，但在激进压缩下常导致准确率下降，需后置微调以弥补——然而因缺乏标记数据或训练成本高昂而不实用。我们提出一种后置块级补偿方法GRAIL，通过小型校准集恢复每个模块的输入输出行为，无需微调。该方法通过 Gram 矩阵汇总隐藏激活，并应用岭回归对线性重构原始隐藏表示。得到的重构映射被吸收至下游投影权重，而上游层被压缩。该方法与选择器无关（Magnitude、Wanda、Gram-based 或折叠），数据感知（仅需少量前向传播，无需梯度或标签），当 Gram 矩阵接近恒等时可恢复经典剪枝或折叠，表明通道间关联性较弱。跨 ResNet、ViT 和仅解码器的 LLM，GRAIL 在实际压缩 regime 下持续提升数据自由和数据感知剪枝或折叠基线的准确率或 perplexity，同时拥有可控开销且无需反向传播。代码已于 https://github.com/TWWinde/GRAIL_Compensation 提供。
引用
@article{arxiv.2602.23795,
title = {GRAIL: Post-hoc Compensation by Linear Reconstruction for Compressed Networks},
author = {Wenwu Tang and Dong Wang and Lothar Thiele and Olga Saukh},
journal= {arXiv preprint arXiv:2602.23795},
year = {2026}
}
备注
Conference on Parsimony and Learning (CPAL)