用于增强变换器的跨层融合重建 KV 缓存
计算与语言
2026-02-20 v3
摘要
变换器解码器在各类任务中取得了强劲的性能，但在序列长度较长时，KV 缓存所需的内存变得不可接受。虽然跨层 KV 缓存共享（如 YOCO、CLA）提供了缓解 KV 缓存瓶颈的途径，但通常在层内方法（如 GQA）方面表现不足。为理解根本原因，我们研究了来自顶层键值（KV）的信息流。我们的初步研究显示，存在明确的分布：值主要来自底层，而键则更多地来自底层和中间层。基于此，我们提出了 FusedKV，其顶层 KV 缓存是来自底层和中间层最具信息量的缓存的可学习融合。该融合直接作用于 post-RoPE 键上，保留了相对位置信息，而无需重新应用旋转嵌入的计算成本。为进一步提高效率，我们提出了 FusedKV-Lite，一种跨层共享方法，其中顶层 KV 缓存直接来自底层的值和中间层的键。与 FusedKV 相比，FusedKV-Lite 在 I/O 开销方面有所减少，代价是略微增加的困惑度。在来自 332M 至 4B 参数的大型语言模型（LLM）实验中，我们的方法将缓存内存减少 50%，同时实现了低于标准变换器解码器的低验证困惑度，确立其作为高性能架构替代方案的内存效率优势。
引用
@article{arxiv.2512.03870,
title = {Reconstructing KV Caches with Cross-layer Fusion For Enhanced Transformers},
author = {Hongzhan Lin and Zhiqi Bai and Xinmiao Zhang and Sen Yang and Xiang Li and Siran Yang and Yunlong Xu and Jiaheng Liu and Yongchi Zhao and Jiamang Wang and Yuchi Xu and Wenbo Su and Bo Zheng},
journal= {arXiv preprint arXiv:2512.03870},
year = {2026}
}
备注
Accepted by ICLR2026