QV 可能足够：关于 LLM 注意力机制本质的探索
人工智能
2026-03-18 v1
摘要
本文从第一原理出发，以词性 (POS) 和句法分析为中心的语言学视角，探索并推导了 Transformer 架构中 Query-Key-Value (QKV) 机制的底层本质。基于此理论基础，我们提供了一个统一的解释框架，用于解释当代架构（包括 MQA、GQA 和 MLA）的有效性，同时指出它们的内在权衡与潜在优化轨迹。我们引入 QV 范式并提供其有效性的实证证据。建立在此基础上，我们提出 QV-Ka 优化方案，并通过实验验证进一步确立了本文对 QKV 机制可解释理论分析，为大型语言模型架构的未来演进奠定了稳健的基础。
引用
@article{arxiv.2603.15665,
title = {QV May Be Enough: Toward the Essence of Attention in LLMs},
author = {Zhang Edward},
journal= {arXiv preprint arXiv:2603.15665},
year = {2026}
}