FMMformer：基于近场与远场注意力分解的高效灵活 Transformer

我们提出了 FMMformer，一类受著名快速多极子方法（FMM）启发的高效灵活 transformer，该方法用于加速相互作用粒子模拟。FMM 将粒子-粒子相互作用分解为近场和远场分量，然后分别进行直接计算和粗粒度计算。类似地，FMMformer 将注意力分解为近场注意力和远场注意力，通过带状矩阵建模近场注意力，通过低秩矩阵建模远场注意力。计算 FMMformer 的注意力矩阵在计算时间和内存占用上相对于序列长度呈线性复杂度。相比之下，标准 transformer 具有二次复杂度。我们在 Long Range Arena 和语言建模基准上分析并验证了 FMMformer 相对于标准 transformer 的优势。FMMformer 甚至在准确率上能大幅超越标准 transformer。例如，FMMformer 在五项 Long Range Arena 任务上取得 60.74% 的平均分类准确率，显著优于标准 transformer 58.70% 的平均准确率。