ManifoldKV: 基于欧几里得离群点检测的无训练KV缓存压缩
机器学习
2026-02-10 v1 人工智能
计算与语言
摘要
长上下文推理受到KV缓存内存的限制，该内存随序列长度线性增长；因此，KV缓存压缩的关键在于可靠地选择要保留哪些过去的令牌。大多数基于几何的驱逐方法通过余弦相似度与全局质心比较来对键进行评分，但余弦是尺度不变的，可能会丢弃区分语义显著令牌的幅度线索。我们提出了ManifoldKV，一种无训练的评分器，它根据键到键质心的欧几里得距离对令牌进行排序，同时捕捉角度和径向偏差。在RULER基准上，ManifoldKV在4K-16K上下文、20%压缩率下实现了95.7%的准确率；与最佳几何基线相当，同时在余弦评分失效的两种情况下提高了鲁棒性。首先，在多键检索中，ManifoldKV减少了方向碰撞，在50%压缩率下的3键NIAH任务中实现了92.4%的准确率，而KeyDiff为77.0%（+15.4个百分点）。其次，为了解决64K上下文下全局质心的稀释和性能崩溃问题，我们引入了WindowedManifoldKV，它在25%压缩率下将准确率恢复到84.3%，比全局L2恢复49个百分点，比KeyDiff高3.2个百分点。该方法仅需3行代码，无需调优即可在4种架构上工作。
引用
@article{arxiv.2602.08343,
title = {ManifoldKV: Training-Free KV Cache Compression via Euclidean Outlier Detection},
author = {Debajyoti Datta and Trishala Neeraj and Bibek Paudel and Vyom Sharma and Subhabrata Mukherjee},
journal= {arXiv preprint arXiv:2602.08343},
year = {2026}
}
备注
18 pages, 5 figures, 18 tables