cosFormer：对注意力中 Softmax 的重新思考

Transformer 在自然语言处理、计算机视觉和音频处理中已展现出巨大成功。作为其核心组件之一，softmax 注意力有助于捕捉长程依赖，但由于对序列长度呈二次方的空间与时间复杂度，其规模扩展受到限制。核方法常被用于通过近似 softmax 算子来降低复杂度。然而，由于近似误差，它们在不同任务/语料库上的表现参差不齐，且与原始 softmax 注意力相比存在严重的性能下降。本文提出一种称为 cosFormer 的线性 Transformer，在因果注意力和交叉注意力中均能取得与原始 Transformer 相当或更好的精度。cosFormer 基于 softmax 注意力的两个关键性质：i). 注意力矩阵的非负性；ii). 能够将注意力矩阵分布集中的非线性重加权方案。作为其线性替代，cosFormer 通过线性算子和基于余弦的距离重加权机制实现了这些性质。在语言建模和文本理解任务上的大量实验证明了我们方法的有效性。我们进一步在长序列上检验了我们的方法，并在 Long-Range Arena 基准上取得了最先进的性能。源代码可在 https://github.com/OpenNLPLab/cosFormer 获取。