面向键值缓存信息压缩的分段优化网络
计算与语言
2026-01-30 v1
摘要
键值(KV)缓存的线性增长仍是多轮大语言模型部署的瓶颈。现有的KV缓存压缩方法往往未能考虑多轮对话的结构属性,依赖启发式驱逐,风险在于丢失关键上下文。我们提出了SONIC，一个基于学习的方法的框架,将历史分段压缩到紧凑且语义丰富的Nexus令牌中。通过集成动态预算训练,SONIC允许在无需重新训练的情况下灵活适应不同内存限制。实验表明,在80%和50%的压缩比下,SONIC在四个多样化的多轮基准测试中持续优于H2O和StreamingLLM等基线方法。 Specifically, 在广泛使用的MTBench101基准测试上,SONIC相对于最先进的基线方法实现了平均35.55%的得分提升,验证了其在维持连贯多轮对话方面的有效性。此外,SONIC增强了部署效率,相对于完整上下文生成加快整体推理进程50.1%。
引用
@article{arxiv.2601.21927,
title = {SONIC: Segmented Optimized Nexus for Information Compression in Key-Value Caching},
author = {Hong Chen and Xiang Liu and Bo Wang and Yuxuan Fan and Yuanlin Chu and Zongluo Li and Xiaowen Chu and Xuming Hu},
journal= {arXiv preprint arXiv:2601.21927},
year = {2026}
}