量化对多语言大语言模型有何影响？
计算与语言
2024-10-15 v2 机器学习
摘要
量化技术广泛用于提高推理速度和部署大型语言模型。虽然广泛的研究考察了量化对英文 LLM 影响，但没有人跨语言进行评估。我们对量化后的多语言 LLM 进行彻底分析，关注不同语言和不同规模上的表现。我们使用自动基准测试、LLM 作为评判器以及人类评估，发现：(1) 量化的有害影响在人类评估中显现，而自动指标严重低估了这种影响：在日文中，自动任务平均下降 1.7% 对应人类评估者在真实情境提示下的 16.0% 下降；(2) 语言在量化中受到不平等的影响，非拉丁字符语言受到最严重影响；(3) 像数学推理这样的挑战性任务会最快降级。由于低计算模型的服务能力是 NLP 技术在全球范围内广泛采用的关键，我们的结果敦促将多语言性能作为高效模型的关键评估标准。
引用
@article{arxiv.2407.03211,
title = {How Does Quantization Affect Multilingual LLMs?},
author = {Kelly Marchisio and Saurabh Dash and Hongyu Chen and Dennis Aumiller and Ahmet Üstün and Sara Hooker and Sebastian Ruder},
journal= {arXiv preprint arXiv:2407.03211},
year = {2024}
}
备注
Findings of EMNLP 2024 Camera-Ready