cartridges 中的学习结构：作为自学表示的可共享路由器的键
机器学习
2025-11-11 v2
摘要
长上下文 LLM 推理的瓶颈之一是 KV 缓存线性增长。最近的工作提出了 cartridges 方法，利用离线计算训练出小于通常用于完整文档所需的更小 KV 缓存（在推理时可减少最高达 40 倍的内存占用）。本文present了对学习型 cartridges 键值缓存结构的首个机制性探索。具体而言，我们提出：(1) cartridges 键充当压缩语料库的稳定、可共享检索路由器；(2)大部分学习到的压缩发生在 cartridges 值向量内部。我们在多个任务、模型家族和模型规模上提供了对 routing 理论的实证证据；例如，我们可以在任务之间删除学习型 cartridges 键向量而性能损失甚少。最后，我们提出一种轻微改进的初始化方法，称为 Sampled Chunk Initialization (SCI)。我们认为 SCI 可能比文献中之前演示的更快地实现 cartridges 收敛。我们的发现为更广泛的 cartridges 训练优化研究奠定了基础，这可能对于进一步扩大规模至关重要。
关键词
引用
@article{arxiv.2508.17032,
title = {Learned Structure in Cartridges: Keys as Shareable Routers in Self-Studied Representations},
author = {Maurizio Diaz},
journal= {arXiv preprint arXiv:2508.17032},
year = {2025}
}