从谱统计预测LLM压缩降解

矩阵级低秩压缩是一种减少大型语言模型成本的有前景的方法，但运行压缩并在语言任务上评估结果模型可能代价高昂。压缩导致的降解能否在提交计算之前被预测？我们系统地分析了Qwen3和Gemma3模型家族，涵盖四种典型的低秩压缩方法：普通SVD、两种ASVD变体和SVD-LLM。我们发现稳定秩和信息密度（以参数位数计）主导性能降解。压缩比例乘以稳定秩的互作用项$\gamma \cdot \bar{\rho}_s$是准确度降解的稳健预测器，达到注意力层为0.890、MLP层为0.839的leave-one-out交叉验证Pearson相关系数。我们提供理论直觉，解释为何该预测器成功，将其与标准SVD截断界限及变换层中的误差组成机制相连接。这些发现使我们能够实现一种以预测为导向的压缩工作流程：从权重计算$\gamma \cdot \bar{\rho}_s$，估计降解，仅针对理想配置投入计算。