机器翻译后训练量化的不均衡影响
计算与语言
2025-08-29 v1
摘要
量化对于在资源受限硬件上部署大型语言模型（LLM）至关重要，但其对多语言任务的影响仍未得到充分探索。我们对后训练量化（PTQ）在 55 种语言上使用 5 个参数从 17B 到 70B 的 LLM进行了首次大规模评估。我们的分析显示，尽管 4 位量化常常保留高资源语言和大型模型的翻译质量，但在低资源和类型多样化语言上会发生显著退化，尤其在 2 位设置下。我们比较了四种量化技术（AWQ、BitsAndBytes、GGUF 和 AutoRound），表明算法选择和模型大小共同决定鲁棒性。GGUF 变体在 2 位精度下仍能提供最一致的性能。此外，我们量化了量化、解码超参数和校准语言之间的相互作用，发现语言匹配校准在低位场景下才有益。我们的发现为在资源受限条件下部署面向多语言的 LLM 进行机器翻译提供了可操作的见解，尤其是在低资源设置下。
引用
@article{arxiv.2508.20893,
title = {The Uneven Impact of Post-Training Quantization in Machine Translation},
author = {Benjamin Marie and Atsushi Fujita},
journal= {arXiv preprint arXiv:2508.20893},
year = {2025}
}