通过零空间优化增强大型语言模型的训练后量化
机器学习
2025-10-28 v3
摘要
针对大型语言模型（LLM）的现有训练后量化方法取得了显著成功。然而，日益递减的性能增益表明，现有量化策略不足以支撑更压缩模型的开发。为启发未来研究的新方向，本文将零空间概念引入 LLM 量化。我们论证，通过将量化后权重扰动约束在输入激活的零空间内，可有效缓解量化误差。为证明此想法，我们为现有里程碑式 PTQ 基线提出了一种即插即用的零空间投影模块，命名为 Q2N。具体而言，我们首先设计了一种针对 LLM 特征量身定制的高效且准确的零空间投影近似方法。随后，我们理论推导了所得投影矩阵的等效向量的闭式解，该解满足实际推理条件并避免了额外内存开销。在多种最先进的 LLM（LLaMA3、DeepSeek、Qwen3）与基线上进行了大量实验，证明了我们的 Q2N 以及零空间优化视角对 LLM 量化的有效性。我们将本文视为基于零空间见解进一步缓解量化误差的第一步，希望它能启发未来研究者设计更先进的量化方法。代码可在 https://github.com/zjq0455/q2n 获取。
引用
@article{arxiv.2506.11044,
title = {Boost Post-Training Quantization via Null Space Optimization for Large Language Models},
author = {Jiaqi Zhao and Miao Zhang and Deng Xiang and Ming Li and Weili Guan and Liqiang Nie},
journal= {arXiv preprint arXiv:2506.11044},
year = {2025}
}
备注
17 pages, 4 figures