KurTail：基于峰度的 LLM 量化
机器学习
2025-03-04 v1
摘要
大语言模型（LLM）量化的挑战之一是离群值的存在。离群值常常使均匀量化方案效果不佳，尤其是在4位量化等极端情况下。我们提出KurTail，一种新的训练后量化（PTQ）方案，利用基于峰度的旋转来缓解LLM激活值中的离群值。我们的方法将峰度作为尾部程度的度量进行优化。该方法实现了对权重、激活值和KV缓存的4位量化。我们采用逐层优化，确保内存效率。KurTail在现有量化方法上表现优异，相比QuaRot，MMLU准确率提升13.3%，Wiki困惑度降低15.5%。与SpinQuant相比，MMLU提升2.6%，困惑度降低2.9%，同时降低了训练成本。作为对比，使用SpinQuant学习Llama3-70B的旋转至少需要四块NVIDIA H100 80GB GPU，而我们的方法仅需单块GPU，使其成为消费级GPU的更易获取方案。
引用
@article{arxiv.2503.01483,
title = {KurTail : Kurtosis-based LLM Quantization},
author = {Mohammad Sadegh Akhondzadeh and Aleksandar Bojchevski and Evangelos Eleftheriou and Martino Dazzi},
journal= {arXiv preprint arXiv:2503.01483},
year = {2025}
}
备注
12 pages, 3 figures