量化是否影响大语言模型的置信度？
计算与语言
2024-05-02 v1 人工智能
摘要
近期研究引入了有效的大语言模型 (LLM) 压缩技术，通过后训练量化或低位权值表示实现。尽管量化后的权值提供了存储效率并可实现更快的推理，但既有工作指出量化可能损害性能并加剧 LLM 中的偏见。本研究考察了量化模型的置信度和校准，认为语言模型类型和规模是导致量化损失的贡献因素。首先，我们揭示了使用 GPTQ 进行 4 位量化会导致对真实标签的置信度下降，且不同语言模型受到的影响各不相同。其次，我们观察到不同规模对置信度影响存在波动。最后，我们提出了一种基于置信度水平解释量化损失的方案，表明量化不成比例地影响那些初始模型在这些样本上表现出低置信度的样本。
引用
@article{arxiv.2405.00632,
title = {When Quantization Affects Confidence of Large Language Models?},
author = {Irina Proskurina and Luc Brun and Guillaume Metzler and Julien Velcin},
journal= {arXiv preprint arXiv:2405.00632},
year = {2024}
}
备注
Accepted to NAACL 2024 Findings