QuaRot：旋转LLM中的无离群值4位推理
机器学习
2024-10-30 v2
摘要
我们引入了QuaRot，一种基于旋转的新量化方案，能够端到端地量化LLM，包括所有权重、激活值和KV cache为4位。QuaRot通过旋转LLM在不改变输出的情况下去除隐藏状态中的离群值，从而使量化更容易。这种计算不变性被应用于LLM的隐藏状态（残差），以及前馈组件的激活值、注意力机制的某些方面和KV cache。最终得到的量化模型中，所有矩阵乘法均在4位下执行，无需保留任何通道为更高精度。我们的4位量化LLaMa2-70B模型在WikiText-2上的困惑度损失最多为0.47，并保留了99%的零样本性能。我们还表明，QuaRot使用舍入到最近邻量化，无需任何校准数据即可提供无损的6位和8位LLaMa2模型。代码可在以下地址获取：https://github.com/spcl/QuaRot。
引用
@article{arxiv.2404.00456,
title = {QuaRot: Outlier-Free 4-Bit Inference in Rotated LLMs},
author = {Saleh Ashkboos and Amirkeivan Mohtashami and Maximilian L. Croci and Bo Li and Pashmina Cameron and Martin Jaggi and Dan Alistarh and Torsten Hoefler and James Hensman},
journal= {arXiv preprint arXiv:2404.00456},
year = {2024}
}
备注
21 pages, 7 figures