旋转、裁剪、分区：通过集成旋转与可学习非均匀量化器实现 W2A4KV4 量化
机器学习
2025-09-03 v2 人工智能
计算与语言
摘要
我们提出了一种名为 Rotate, Clip, and Partition (RCP) 的量化感知训练 (QAT) 方法，首次实现了 LLM 的极端压缩，采用 W2A4KV4（2 位权重、4 位激活和 4 位 KV 缓存）配置。RCP 将最新的旋转技术与 novel non-uniform weight quantizer 设计相结合，通过定量分析随机旋转对 2 位权重量化的影响。我们的权重量化器具有可学习直接分区 (LDP) 特性，引入可学习参数以联合学习非均匀区间与 LLM 权重。我们还提出了一种专用的 GPU 内核，支持非均匀 W2A4 的 GEMV。实验表明，RCP 可将 LLaMA-2-7B 压缩至 W2A4KV4，仅增加 WikiText2 ppl 2.84，内存占用缩减 5.29 倍。此外，RCP 还能对针对移动端的挑战性 LLaMA-3.2 模型以及面向特定领域的 WizardCoder-7B 和 MetaMath-7B 进行量化，且不存在收敛失败和重复等严重问题。代码已公开于 https://github.com/songsm921/RCP。
引用
@article{arxiv.2502.15779,
title = {Rotate, Clip, and Partition: Towards W2A4KV4 Quantization by Integrating Rotation and Learnable Non-uniform Quantizer},
author = {Euntae Choi and Sumin Song and Woosang Lim and Sungjoo Yoo},
journal= {arXiv preprint arXiv:2502.15779},
year = {2025}
}