PermuteFormer：面向长序列的高效相对位置编码

Transformer的一个近期变体Performer，通过线性注意力机制将Transformer扩展到更长序列。然而，它与相对位置编码不兼容，而相对位置编码相比绝对位置编码具有优势。本文中，我们讨论将相对位置编码加入Performer的可能方式。基于分析，我们提出PermuteFormer，一种基于Performer且具备相对位置编码、在长序列上线性扩展的模型。PermuteFormer对查询与键施加位置相关变换，将位置信息编码进注意力模块。该变换经过精心构造，使得自注意力的最后输出不受词元绝对位置影响。PermuteFormer在设计上引入可忽略的计算开销，其运行速度与Performer一样快。我们在长序列数据集Long-Range Arena以及语言建模数据集WikiText-103上评估PermuteFormer。实验表明，PermuteFormer以几乎无计算开销一致地提升了Performer的性能，并在大多数任务上优于原始Transformer。