整数尺度：加速大语言模型精细量化的免费午餐
机器学习
2024-05-29 v2 人工智能
摘要
我们提出了 Integer Scale，一种用于大语言模型的新型后训练量化方案，有效解决当前精细量化方法中的推理瓶颈问题，同时保持与原始方法相似的准确性。Integer Scale 是一种免费午餐，因为它无需额外校准或微调，这些操作通常会产生额外成本。它可即插即用于大多数精细量化方法。其集成相对于原始方法最多可实现 1.85 倍的端到端速度提升，同时保持相当的准确性。此外，由于 Integer Scale 与精细量化的协同工作，我们解决了 Mixtral-8x7B 和 LLaMA-3 模型的量化难题，性能下降极小，分别相较其 FP16 版本实现 2.13 倍和 2.31 倍的端到端速度提升。
引用
@article{arxiv.2405.14597,
title = {Integer Scale: A Free Lunch for Faster Fine-grained Quantization of LLMs},
author = {Qingyuan Li and Ran Meng and Yiduo Li and Bo Zhang and Yifan Lu and Yerui Sun and Lin Ma and Yuchen Xie},
journal= {arXiv preprint arXiv:2405.14597},
year = {2024}
}