Outlier Suppression+：通过等价且最优的平移与缩放实现大语言模型的精确量化
计算与语言
2023-10-24 v3
摘要
由于激活中存在有害的异常值，Transformer语言模型的后训练量化（PTQ）面临显著挑战。我们观察到这些异常值集中于特定通道，且在通道间呈非对称分布。为解决该问题，我们提出了Outlier Suppression+（OS+）框架，包含针对非对称性的通道级平移与针对聚集性的通道级缩放。我们证明这些操作可在保持等价性的同时无缝迁移至后续模块。其次，我们提出了一种快速且稳定的方案来计算有效的平移与缩放值。通道级平移对齐各通道的中心以去除异常值非对称性；通道级缩放定量评估由迁移与量化带来的变化，以实现更好的量化负担均衡。我们在标准与细粒度量化设置下，使用BERT、OPT、BLOOM、BLOOMZ及LLaMA等模型验证了OS+。跨多项任务的综合结果证明了我们方法的优越性。特别是在标准量化下，OS+在8位与6位上均可于小模型和大语言模型上取得接近浮点数的性能。此外，我们以15.5%的提升在4位BERT上建立了新的state-of-the-art。我们的代码见\url{https://github.com/ModelTC/Outlier_Suppression_Plus}。
引用
@article{arxiv.2304.09145,
title = {Outlier Suppression+: Accurate quantization of large language models by equivalent and optimal shifting and scaling},
author = {Xiuying Wei and Yunchen Zhang and Yuhang Li and Xiangguo Zhang and Ruihao Gong and Jinyang Guo and Xianglong Liu},
journal= {arXiv preprint arXiv:2304.09145},
year = {2023}
}
备注
Accepted to EMNLP23 (main)