长程竞技场：高效 Transformer 的基准测试

Transformer 在扩展到长序列长度时表现欠佳，主要因为自注意力的二次复杂度。近几个月来，为应对该问题已提出广泛的高效、快速 Transformer，且常常声称其模型质量优于或与原始 Transformer 模型相当。迄今为止，对于如何评估此类模型尚无公认共识。此外，在广泛任务与数据集上不一致的基准测试使得难以评估众多模型间的相对质量。本文提出一个系统且统一的基准 LRA，专门聚焦于评估长上下文场景下的模型质量。我们的基准是一组任务套件，由 $1K$ 至 $16K$ 个 token 的序列组成，涵盖文本、自然图像、合成图像以及需要相似性、结构与视觉空间推理的数学表达式等广泛数据类型与模态。我们在新提出的基准套件上系统评估了十种成熟的长程 Transformer 模型（Reformers、Linformers、Linear Transformers、Sinkhorn Transformers、Performers、Synthesizers、Sparse Transformers 与 Longformers）。LRA 为更好地理解这类高效 Transformer 模型铺平道路，促进该方向更多研究，并呈现新的挑战性任务。我们的基准代码将发布于 https://github.com/google-research/long-range-arena。