TurboAngle：通过均匀角度量化实现近无损 KV 缓存压缩
机器学习
2026-03-31 v1 人工智能
摘要
我们通过在快速 Walsh-Hadamard 域中对角度进行量化来压缩 KV 缓存条目，其中随机对角旋转使连续元素对在单位圆上近似均匀分布。我们通过逐层提前增强（per-layer early-boost）扩展了这一角度量化器，在每一层独立配置 K 和 V 码本大小，为模型特定的关键子集分配更高精度。在七个模型（1B 到 7B 参数）上，逐层提前增强在四个模型上实现了无损压缩，在七个模型中的六个上实现了近无损质量，每个元素使用 3.28 至 3.67 个角度比特。非对称范数量化（键使用 8 位，值使用 4 位对数空间）在 Mistral-7B 上实现了每个元素 6.56 比特的总比特数，困惑度下降 +0.0014，且无需校准数据。层组敏感性分析揭示了模型特定的瓶颈模式，包括以 K 为主导和以 V 为主导的层，以及增加精度反而降低质量的负迁移层。
引用
@article{arxiv.2603.27467,
title = {TurboAngle: Near-Lossless KV Cache Compression via Uniform Angle Quantization},
author = {Dipkumar Patel},
journal= {arXiv preprint arXiv:2603.27467},
year = {2026}
}
备注
10 pages, 7 tables, 2 figures