群表示位置编码

我们提出 GRAPE（Group Representational Position Encoding，群表示位置编码），一个基于群作用的位置编码统一框架。GRAPE 统一了两种机制：(i) 在 SO(d) 中的乘法旋转（乘法 GRAPE），以及 (ii) 来自一般线性群 GL 中的加性逻辑偏置（加法 GRAPE）。在乘法 GRAPE 中，位置 n ∈ ℤ（或 t ∈ ℝ）作为 G(n) = exp(n ω L) 作用，其中 L ∈ ℝ^{d×d} 为秩为 2 的反对称生成器，产生一种相对的、可组合的、保持范数的映射，并具有闭形式的矩阵指数。当 d/2 个平面对应标准坐标对且谱为对数均匀时，恰好恢复 RoPE。学习的公变子空间和紧凑非公变混合严格扩展了这种几何结构，以在 O(d) 和 O(r d) 成本下捕获跨子空间特征耦合。在加法 GRAPE 中，加性逻辑偏置源自秩为 1（或低秩）的单位作用，恰好恢复 ALiBi 和 Forgetting Transformer（FoX）作为精确的特殊情况，同时保持精确的相对法则和流式缓存性。总体而言，GRAPE 为长上下文模型中的位置几何提供了一个原则性的设计空间，纳入 RoPE 和 ALiBi 作为特殊情况。