SLAY：基于 Yat-Kernel 的几何感知球面线性化注意机制

我们提出了一种基于对最近期引入的 E-Product（常称为 Yat-Kernel）进行松弛且计算高效公式化后，构成的新的线性时间注意机制类别。所得交互是几何感知的，且受物理中逆平方相互作用的启发。我们的方法称为球面线性化注意机制搭配 Yat Kernel（SLAY），其约束查询和键位于单位球面，从而注意力仅依赖于角度对齐。运用伯恩斯坦定理，我们将球面 Yat-Kernel 表示为多项式-指数乘积核的非负混合物，并推导出一种严格为正的随机特征近似，实现线性时间 O(L) 注意力。我们证明了该方法在球面上具有正定性和有界性，并表明该估计器产生定义良好、非负注意力得分。经验上，SLAY 的性能几乎与标准 softmax 注意力不相上下，同时保持线性时间和内存规模，且始终优于先前的线性时间注意机制，如 Performers 和 Cosformers。迄今为止，SLAY 似乎是对 softmax 注意力最接近的线性时间逼近，使 Transformer 能够在不常见的性能权衡下实现可扩展。