SmoothRot：结合通道级缩放与旋转的量化友好型大语言模型
计算与语言
2025-07-30 v2 人工智能
机器学习
摘要
我们提出SmoothRot，这是一种新型后训练量化技术，用于提高大语言模型（Large Language Models, LLMs）4位量化的效率。SmoothRot解决大量激活异常值问题，通过集成通道级缩放与Hadamard变换实现。该技术有效将极端异常值转化为量化友好型激活，显著提升量化精度。在流行的LLMs（LLaMA2 7B、LLaMA3.1 8B和Mistral 7B）上实验表明，SmoothRot在语言生成和零样本推理任务中，均将量化模型与FP16模型之间的性能差距降低约10-30%，且无需引入额外的推理延迟。代码已公开于https://github.com/czakop/smoothrot。
关键词
引用
@article{arxiv.2506.05413,
title = {SmoothRot: Combining Channel-Wise Scaling and Rotation for Quantization-Friendly LLMs},
author = {Patrik Czakó and Gábor Kertész and Sándor Szénási},
journal= {arXiv preprint arXiv:2506.05413},
year = {2025}
}
备注
6 pages, 3 figures, 5 tables. Accepted to IEEE SMC 2025 conference proceedings