AWEQ：面向大语言模型的激活-权重均衡训练后量化
机器学习
2023-11-14 v3 人工智能
计算与语言
摘要
大语言模型（LLMs）在各种任务上表现出优异性能，但它们带来了显著的计算和存储成本。量化这些模型是缓解该问题的有效途径。然而，现有方法难以在模型精度与硬件效率之间取得平衡。为此我们引入 AWEQ，一种无需额外训练开销的训练后方法。AWEQ 在超低比特量化和 8 比特权重与激活（W8A8）量化上均表现出色。有观察表明权重量化比激活量化挑战更小。AWEQ 利用通道均衡将激活量化的难度转移到权重上，实现两者量化难度的平衡，从而最大化性能。我们进一步改进了均衡方法以减轻量化偏置误差，确保模型的鲁棒性。在 LLaMA 和 OPT 等流行模型上的大量实验表明，AWEQ 优于所有现有的大模型训练后量化方法。
引用
@article{arxiv.2311.01305,
title = {AWEQ: Post-Training Quantization with Activation-Weight Equalization for Large Language Models},
author = {Baisong Li and Xingwang Wang and Haixiao Xu},
journal= {arXiv preprint arXiv:2311.01305},
year = {2023}
}