OCTOPUS：基于八面体参数化下的最优平方误差量化的 Transformer KV 缓存优化
机器学习
2026-05-21 v1 人工智能
摘要
键值 (KV) 缓存在长上下文自回归推理中占据主导的内存带宽和存储空间。最近出现的旋转 Preconditioned 编解码器 (TurboQuant、PolarQuant) 显示，结构化随机旋转后跟随每个坐标标量量化器，匹配分析上可解的边际分布，几乎是 KV 压缩的最优配方。OCTOPUS 通过联合量化旋转坐标三元组来推进这一范式。每个三元组的方向映射到正方形上，通过八面体参数化实现，两个 resulting 坐标以及三元组范数均针对实现匹配的边际分布进行 Lloyd-Max 量化。优化每个三元组的平方误差可严格非均匀地分配比特，这仅取决于键的总维度。我们发现有限维度质量最优解在我们测试的每个实际解码器上均为常数。该编解码器数据不可感知、在线且在给定随机种子后确定性。跨文本、视频和音频，OCTOPUS 在每一种报告的比特宽度和指标下，均匹配或优于所有先前的旋转编解码器，其优势随比特降低在极端压缩场景中呈指数增长。此外，基于 Triton 实现的融合版本可在解码时实时重构键，而无需实例化未压缩的键，从而在解码时带宽和延迟上不增加任何额外开销。项目页面：https://octopus-quant.github.io/
关键词
引用
@article{arxiv.2605.21226,
title = {OCTOPUS: Optimized KV Cache for Transformers via Octahedral Parametrization Under optimal Squared error quantization},
author = {Mark Boss and Vikram Voleti and Simon Donné and Shimon Vainer},
journal= {arXiv preprint arXiv:2605.21226},
year = {2026}
}