ASER: 面向大语言模型量化的激活平滑与误差重构
机器学习
2024-12-13 v2 人工智能
摘要
量化是大语言模型（LLM）服务的关键技术，但在实现有效的低比特量化方面面临重大挑战。有限的数值映射使得量化模型产生非平凡误差，导致不可接受的性能下降。本文基于模型压缩目标的基本思想，深入探讨了后训练量化过程中大语言模型的逐层误差分布。随后，我们提出了 ASER，一种包含以下两部分的算法：（1）误差重构：利用白化 SVD 构造的 LoRA 风格矩阵，对量化误差进行低秩补偿；（2）激活平滑：通过异常值提取获得平滑激活和更好的误差补偿。ASER 能够将典型大语言模型量化为低比特模型，特别是在 W4A8 逐通道设置下仍能保持精度。实验结果表明，ASER 在最先进的量化算法中具有竞争力，展现了在激活量化方面的潜力，且开销极小。
引用
@article{arxiv.2411.07762,
title = {ASER: Activation Smoothing and Error Reconstruction for Large Language Model Quantization},
author = {Weibo Zhao and Yubin Shi and Xinyu Lyu and Wanchen Sui and Shen Li and Yong Li},
journal= {arXiv preprint arXiv:2411.07762},
year = {2024}
}
备注
Accepted at AAAI 2025