受 TurboQuant 启发的 KV 缓存量化统计推断与质量度量

我们在公平的比特预算下分析了三种 KV 缓存量化方案：\textbf{KV}（标量 MSE 基线）、\textbf{KQV}（对 $K$ 进行 WHT + MSE；对 $V$ 进行 WHT + MSE + QJL）和 \textbf{QKQV}（对两者均进行 WHT + MSE + QJL）。从超球面上的 Beta 分布出发，我们追踪了 $K$ 上的 QJL 如何使内积方差膨胀 $\pi/2$，而 softmax 通过 Jensen 不等式将其非线性放大，并提出了统计推断和信息度量以突出实际差异。三个实证发现浮现出来。(1) 在 $n=4$（实际占主导的预算）下，KQV 在所有测试的分布和秩上，在每一项度量——KL 散度、几何 $K$ 误差和 6D 距离——上都胜出。(2) K-V 不对称性是无条件的：在每种预算和分布下，QKQV 在 KL 散度上始终比 KQV 差。(3) 存在一个依赖于预算的交叉点：QKQV 在 $n \in \{2,3,5\}$ 时实现更好的几何 $K$ 重建，而 KQV 在 $n \in \{4,6\}$ 时更好，这与秩和尾部权重无关——这是一个开放的率失真问题。$\mathrm{KL}(p_{\mathrm{ref}} \| p_{\mathrm{quant}})$ 通过构造仅依赖于 $K$，它将 $K$ 方向误差与路由损坏和输出崩溃联系起来。我们给出了 Jensen 机制通过 softmax 超线性放大的一个充分条件。在 $n \in \{2,3,5\}$ 时，QKQV 在几何上胜出，因为该假设不成立。在 $n=4$ 时，QKQV 的 $K$ 误差和 KL 散度升高，强烈表明 Jensen 机制是导致交叉的操作性原因，这提供了一个新的视角和解释。