ROCKET：基于校准引导的背包增强截断实现快速优化
机器学习
2026-02-12 v1 人工智能
计算与语言
摘要
我们提出ROCKET，是一种无需训练的模型压缩方法，与因子分解、结构稀疏化和动态压缩基线方法相比在性能上达到最新水平。在全局压缩预算下，ROCKET包含两个关键创新：首先，将层级压缩分配形式化为多选背包问题，为每个层选择最佳压缩水平，以最小化总体重建误差同时满足目标模型大小；其次，引入一种受字典学习启发的单步稀疏矩阵分解：仅使用小型校准集，对权重系数进行稀疏化，基于激活权重敏感性，然后通过最小二乘法以闭式形式更新字典，完全绕过迭代优化、稀疏编码或反向传播。ROCKET在不同模型架构上以20-50%压缩率 consistently outperform 现有压缩方法。值得注意的是，在30%压缩率下，ROCKET可保留超过90%原始模型性能，且无需任何微调。此外，当应用轻微微调阶段时，恢复效果显著提升：例如，将Qwen3-14B压缩至8B参数模型，并仅用3000万个标记进行修复，即可获得接近原始Qwen3-8B的性能。ROCKET的代码位于 github.com/mts-ai/ROCKET/tree/main。
引用
@article{arxiv.2602.11008,
title = {ROCKET: Rapid Optimization via Calibration-guided Knapsack Enhanced Truncation for Efficient Model Compression},
author = {Ammar Ali and Baher Mohammad and Denis Makhov and Dmitriy Shopkhoev and Magauiya Zhussip and Stamatios Lefkimmiatis},
journal= {arXiv preprint arXiv:2602.11008},
year = {2026}
}