TCNCA：用于可扩展序列处理的分块注意力时间卷积网络

MEGA 是一种最近提出的基于 Transformer 的架构，它利用了一个线性递归算子，其基于快速傅里叶变换（FFT）的并行计算复杂度为 $O(LlogL)$，其中 $L$ 为序列长度。我们在其方法的基础上，用一种特殊的时间卷积网络替换了线性递归，该网络允许在更浅的网络中拥有更大的感受野大小，并将计算复杂度降低至 $O(L)$。由此产生的模型被称为 TCNCA，即带有分块注意力的时间卷积网络。我们在 EnWik8 语言建模、长程竞技场（LRA）序列分类以及合成推理基准关联召回上评估了 TCNCA。在 EnWik8 上，TCNCA 优于 MEGA，以训练期间 $1.37\times$/$1.24\times$ 更快的前向/反向传播达到了更低的损失。TCNCA 中使用的膨胀卷积在 GPU 上始终是比基于 FFT 的并行递归快得多的操作，使其成为处理超长序列长度的可扩展候选方案：对于长达 131k 的序列，它们在前向/反向传播中速度最高可提升 $7.07\times$/$2.86\times$。在 LRA 上，TCNCA 在推理过程中实现了平均 $1.28\times$ 的加速，且准确率与 MEGA 相似。在关联召回任务上，我们发现即使是 TCNCA 的简化版本，在没有过度的乘性和加性交互的情况下，在一系列序列长度和词汇表大小上仍然优于或与 MEGA 具有竞争力。