YOCO++:通过KV残差连接增强YOCO以提高LLM推理效率
计算与语言
2026-04-16 v1
摘要
跨层键值(KV)压缩被发现在大型语言模型(LLM)的高效推理中效果良好。尽管如此，此类方法通常会引入显著的性能下降。本文旨在增强YOCO，这是一种跨层KV压缩方法，通过共享中间层的KV与上半部分层。我们提出YOCO++，这是一种增强版YOCO，包含每个下半部分层KV与下层之间的加权残差连接。与YOCO相比，YOCO++在保持相同训练和推理效率的同时增加了模型容量。我们的实验表明，YOCO++在50% KV缓存压缩率下实现了跨层KV压缩方法中的最佳性能，超过标准Transformer。
关键词
引用
@article{arxiv.2604.13556,
title = {YOCO++: Enhancing YOCO with KV Residual Connections for Efficient LLM Inference},
author = {You Wu and Ziheng Chen and Yizhen Zhang and Haoyi Wu and Chengting Yu and Yuchi Xu and Wenbo Su and Bo Zheng and Kewei Tu},
journal= {arXiv preprint arXiv:2604.13556},
year = {2026}
}