超越方差：基于Fisher对齐子空间诊断的知识感知 LLM 压缩
机器学习
2026-01-13 v1 人工智能
摘要
后训练激活压缩是将大型语言模型(LLM)部署到资源受限硬件上的关键技术。然而，诸如奇异值分解(SVD)等标准方法因缺乏梯度感知，仅能保留高方差维度，而不顾其对事实知识保留的实际影响。我们引入Fisher对齐子空间压缩(FASC)，一种知识感知压缩框架，通过直接建模激活-梯度耦合关系来选择子空间，从而最小化损失函数的二阶近似。FASC利用Fisher信息矩阵识别对事实知识至关重要的维度，这些维度往往位于低方差但高梯度灵敏度的子空间中。我们提出了依赖违例得分()作为一种通用诊断指标，用于量化激活-梯度耦合程度，揭示事实知识在Transformer架构中的存储位置。对Mistral-7B和Llama-3-8B进行的大规模实验表明，FASC在50%秩压缩下，相较于基于方差的方法，在知识密集型基准(MMLU、LAMA)上的准确率分别提升6%-8%，相当于使7B模型的事实记忆能力相当于13B未压缩模型。我们的分析显示，是存储知识的基本信号，只有在模型在训练期间内化事实关联时，高层才会出现。
引用
@article{arxiv.2601.07197,
title = {Beyond Variance: Knowledge-Aware LLM Compression via Fisher-Aligned Subspace Diagnostics},
author = {Ibne Farabi Shihab and Sanjeda Akter and Anuj Sharma},
journal= {arXiv preprint arXiv:2601.07197},
year = {2026}
}