关于学习型重要性评分在KV缓存压缩中的局限性
机器学习
2026-01-22 v1 人工智能
摘要
我们通过推测性重要性预测（SIP）研究了学习型KV缓存压缩，SIP是一个拥有170万参数、不依赖查询的评分器，它仅从KV表示中预测令牌重要性。尽管架构复杂（多视野前瞻、交叉注意力），但在5个随机种子、4个保留级别和3个任务上，SIP并未能超越简单的基线方法，包括随机选择。主要发现：（1）基于位置的启发式方法（保留前4个+后N个令牌）达到或超过了学习方法；（2）预填充注意力为复杂的评分器提供了等效的信号；（3）KV表示中除位置和预填充注意力之外的边际信息对于重要性预测似乎有限。我们假设未来查询与生成轨迹之间的循环依赖导致了这一困难。
引用
@article{arxiv.2601.14279,
title = {On the Limits of Learned Importance Scoring for KV Cache Compression},
author = {Brady Steele},
journal= {arXiv preprint arXiv:2601.14279},
year = {2026}
}
备注
14 pages, 7 figures, 5 tables