用于实体跟踪的结构稀疏注意力，次二次序列复杂度

实体跟踪需要在长序列上保持和更新实体和属性的潜在状态。最近的任务特定注意力算子可以通过执行单个层内的多跳状态传播，将深层 Transformer 堆栈压缩为少数层，但其稠密评估仍昂贵。我们表明，在此设置下，学习到的注意力强烈结构化：大部分质量集中在局部块对角邻域，轻微的跨块残差。利用这一点，我们派生一种块状评估方法，对保留块内相互作用的同时，将跨块相互作用通过简化系统进行路由。 resulting evaluation 在序列长度为 $O(n^{4/3}d)$（当 $d\approx n$ 时为 $O(n^{7/3})$）下保持次二次复杂度。在受控跟踪基准测试上，我们的方法在保持密集算子准确性的同时，将墙钟时间缩短 $12\sim29\%$，并在相当于密集 Transformer 的 exact-match 准确率下，快达 $2.4 倍。我们进一步对块大小和模型容量进行消融实验，识别出局限性：当同时演化的属性数量超过注意力头的数量时，性能会崩溃。