不可压缩注意力下的可压缩 Softmax 注意力语言

Softmax 注意力通过 $d_h$ 个头维度定义交互，但并非所有维度在真实文本通过后都承载同等权重。我们将注意力 logit 场分解为学习分量和生成分量，并分别测量其谱。对于五款 Transformer 语言模型（124M--7B 参数，四种架构族）中的所有 5,888 个 KV 头，logit 能量场 $\tilde{E}$ 在 2--11 个奇异分量中达到其方差的 90%。学习交互矩阵 $W_Q^\mathrm{T} W_K$ 在相同阈值下需要 38--75 个分量，而 $d_h \in \{64, 128\}$。有效秩的谱隙为 5--25$\times$。Softmax 注意力语言的可压缩性是数据的属性，而非分析它的框架。