解读 LLM 量化的影响

量化为在资源受限环境中部署 LLM 提供了实用解决方案，但其对内部表示的影响尚未充分研究，引发人们对量化模型可靠性的疑问。本研究采用多种可解释性技术来调查量化如何影响模型和神经元行为。我们分析了多个 LLM 在 4 位和 8 位量化情况下的表现。我们的发现表明，量化对模型校准的影响通常较小。神经元激活分析显示，死神经元的数量，即在整个数据集上激活值接近 0 的神经元，无论进行何种量化，都保持一致。就神经元对预测的贡献而言，我们观察到较小的全精度模型具有更少的显著神经元，而较大的模型则倾向于拥有更多，除 Llama-2-7B 外皆如此。量化对神经元冗余性的影响因模型而异。总体而言，我们的发现表明，量化的影响可能因模型和任务而异，但我们没有观察到可能阻碍将量化作为可靠模型压缩技术的显著变化。