基于总变差距离的 Top-$k$ 稀疏注意力数学理论

我们发展了一个统一的数学框架，用于认证 Top-$k$ 注意力截断，并在分布层面和输出层面量化近似误差。对于单个注意力分布 $P$ 及其 Top-$k$ 截断 $\hat P$，我们证明总变差距离与被丢弃的 softmax 尾部质量一致，并满足 $\mathrm{TV}(P,\hat P)=1-e^{-\mathrm{KL}(\hat P\Vert P)}$，从而以尖锐且特定于 Top-$k$ 的界取代通用不等式。由此我们推导出非渐近确定性界——从单边界间隙到多间隙及分块变体——仅利用有序 logit 来控制 $\mathrm{TV}(P,\hat P)$。利用精确的头尾分解，我们证明输出误差可分解为 $\|\mathrm{Attn}(q,K,V)-\mathrm{Attn}_k(q,K,V)\|_2=\tau\|\mu_{\mathrm{tail}}-\mu_{\mathrm{head}}\|_2$，其中 $\tau=\mathrm{TV}(P,\hat P)$，由此得到新的头尾直径界 $\|\mathrm{Attn}(q,K,V)-\mathrm{Attn}_k(q,K,V)\|_2\le\tau\,\mathrm{diam}_{H,T}$，以及将误差与 $\mathrm{Var}_P(V)$ 相关联的改进结果。在 i.i.d. 高斯得分模型 $s_i\sim\mathcal N(\mu,\sigma^2)$ 下，我们推导出闭式尾部质量以及确保 $\mathrm{TV}(P,\hat P)\le\varepsilon$ 的最小 $k_\varepsilon$ 的渐近规则，即 $k_\varepsilon/n\approx\Phi_c(\sigma+\Phi^{-1}(\varepsilon))$。在 bert-base-uncased 和合成 logit 上的实验证实了 $k_\varepsilon/n$ 的预测缩放，并表明认证的 Top-$k$ 平均可将评分键减少 2–4$\times$，同时满足规定的总变差预算。