Prism：光谱感知的块稀疏注意力

块稀疏注意力在加速长上下文 LLM 预填充方面具有前景，但高效识别相关块仍是瓶颈。现有方法通常采用粗粒度注意力作为块重要性估计的代理，但常依赖昂贵的 token 级搜索或评分，导致显著的选择开销。本文通过均值池化追溯标准粗粒度注意力的不准确性，揭示其根本原因：均值池化与旋转位置编码（RoPE）之间的相互作用。我们证明，均值池化作为低通滤波器，会在高频维度上引发毁灭性干扰，实际上在局部位置信息（如斜率模式）上创建“盲区”。为此，我们引入 Prism，一种基于光谱的训练-free 方法，将块选择分解为高频和低频两个分支。通过能量基准的温度校准，Prism 从池化表示中恢复被削弱的位置信号，实现仅基于块级操作的块重要性估计，从而提升效率。广泛的评估表明，Prism 在保持与完整注意力相当的准确性的同时，实现最高可达 $\mathbf{5.1\times}$ 的加速。