解锁地址簿：通过稀疏自编码器解构大语言模型键值缓存的稀疏语义结构
机器学习
2025-12-12 v1
摘要
键值（KV）缓存是长上下文大型语言模型中的主要内存瓶颈，但通常被视为不透明的数值张量。本文提出了 \textbf{STA-Attention} 框架，利用 Top-K 稀疏自编码器（SAE）将 KV 缓存分解为可解释的“语义原子”。与标准 正则化 SAE 不同，我们的 Top-K 方法消除了收缩偏差，保留了注意力所需的精确点积几何。我们的分析发现一种根本性的 \textbf{键值不对称}：虽然键向量作为高度稀疏的路由器主导，由“语义肘部”控制，深层值向量携带密集内容载荷，需要更大的预算。基于此结构，我们引入一种双预算策略， selectively 保留最具信息性的语义组件，同时过滤表征噪声。实验在 Yi-6B、Mistral-7B、Qwen2.5-32B 等模型上表明，语义重构保持与原始模型相当的困惑度和零样本性能，有效地在机制可解释性和忠实注意力建模之间搭建了桥梁。
引用
@article{arxiv.2512.10547,
title = {Unlocking the Address Book: Dissecting the Sparse Semantic Structure of LLM Key-Value Caches via Sparse Autoencoders},
author = {Qingsen Ma and Dianyun Wang and Jiaming Lyu and Yaoye Wang and Lechen Ning and Sujie Zhu and Zhenbo Xu and Liuyu Xiang and Huining Li and Huijia Wu and Zhaofeng He},
journal= {arXiv preprint arXiv:2512.10547},
year = {2025}
}