异常值与校准集对现代大语言模型量化的影响逐渐减弱
机器学习
2024-06-06 v3 人工智能
计算与语言
摘要
训练后量化（PTQ）通过减少内存使用，使大型语言模型（LLM）能够更快地运行并兼容更易获取的硬件，从而提升了其效率，代价是性能略有下降。我们探讨了校准集在PTQ中的作用，特别是它们对各种著名开源LLM中隐藏激活的影响。校准集对于评估激活幅度和识别异常值至关重要，异常值会扭曲量化范围并对性能产生负面影响。我们的分析揭示了不同模型在量化有效性上的显著差异。较旧的OPT模型（许多量化文献的基础）显示出显著的性能下降，并且随着校准集的变化，对异常值高度敏感。相比之下，较新的模型如Llama-2 7B、Llama-3 8B、Command-R 35B和Mistral 7B表现出强大的鲁棒性，其中Mistral 7B几乎不受异常值影响且激活稳定。这些发现表明，可能需要对PTQ策略进行转变。随着预训练方法的进步降低了异常值的相关性，重新评估当前量化文献基础的需求日益凸显。重点应转向优化推理速度，而非主要关注异常值保留，以与最先进LLM不断演变的特性保持一致。
引用
@article{arxiv.2405.20835,
title = {Outliers and Calibration Sets have Diminishing Effect on Quantization of Modern LLMs},
author = {Davide Paglieri and Saurabh Dash and Tim Rocktäschel and Jack Parker-Holder},
journal= {arXiv preprint arXiv:2405.20835},
year = {2024}
}