PolarQuant：利用极坐标变换实现高效键缓存量化与解码加速
机器学习
2025-02-04 v1 计算与语言
摘要
大型语言模型中的 KV 缓存是内存使用的主导因素，限制了其更广泛的应用。将缓存量化到更低位宽是降低计算成本的有效方法；然而，先前的方法由于异常值的存在而难以量化键向量，导致开销过大。我们提出一种名为 PolarQuant 的新型量化方法，能有效应对异常值挑战。我们观察到，异常值通常只出现在两个维度中的一个，当应用旋转位置嵌入时，这两个维度会以特定角度一起旋转。当表示为二维向量时，这些维度展现出结构良好的模式，其半径和角度在极坐标中平滑分布。这缓解了逐通道量化中异常值的挑战，使其非常适合量化。因此，PolarQuant 将键向量划分为二维子向量组，将它们编码为相应的量化半径和极角，而不是直接量化原始键向量。PolarQuant 在 KV 缓存量化中实现了卓越的效率，并通过将查询-键内积转化为查表操作来加速解码过程，同时保持了全精度模型的下游性能。
引用
@article{arxiv.2502.00527,
title = {PolarQuant: Leveraging Polar Transformation for Efficient Key Cache Quantization and Decoding Acceleration},
author = {Songhao Wu and Ang Lv and Xiao Feng and Yufei Zhang and Xun Zhang and Guojun Yin and Wei Lin and Rui Yan},
journal= {arXiv preprint arXiv:2502.00527},
year = {2025}
}
备注
preprint