Pointer：无需预训练的线性复杂度长程建模

我们提出 Pointer，一种新型架构，实现长程序列建模的线性 $O(NK)$ 复杂度，同时在不要求预训练的情况下保持卓越性能。不同于计算 $O(N^2)$ 成对相互作用的标准注意力机制，我们的方法采用层级指针链式结构，其中每一层的指针选择取决于前一层的指针位置，通过指针链创建显式的长程连接。我们展示，该架构在标准变换器上比长序列实现 $2$--$10\times$ 的加速，保持在距离最高达 2048 个 token 时复制任务中超过 $95\%$ 的准确率，并学习到可解释的指针模式，揭示结构化依赖建模。我们的实验在效率基准、长程依赖任务和可解释性分析中显示，Pointer 为需要无需预训练依赖的高效长程建模场景提供了引人注目的注意力机制替代方案。