MetaLA：Softmax 注意力图的统一最优线性逼近
机器学习
2024-11-19 v1 人工智能
摘要
各种线性复杂度模型，如线性 Transformer (LinFormer)、状态空间模型 (SSM) 和线性 RNN (LinRNN)，已被提出用于替代 Transformer 结构中传统的 softmax 注意力。然而，这些线性模型的最优设计仍然是一个悬而未决的问题。在这项工作中，我们试图通过从理论角度寻找 softmax 注意力的最佳线性逼近来回答这个问题。我们首先将现有的线性复杂度模型统一为线性注意力形式，然后确定了最优线性注意力设计的三个条件：1) 动态记忆能力；2) 静态逼近能力；3) 最少参数逼近。我们发现目前的线性模型没有一个能同时满足这三个条件，导致性能次优。相反，我们提出元线性注意力 (MetaLA) 作为满足这些条件的解决方案。我们在多查询关联回忆 (MQAR) 任务、语言建模、图像分类和长距离竞技场 (LRA) 基准上的实验表明，MetaLA 比现有的线性模型更有效。
引用
@article{arxiv.2411.10741,
title = {MetaLA: Unified Optimal Linear Approximation to Softmax Attention Map},
author = {Yuhong Chou and Man Yao and Kexin Wang and Yuqi Pan and Ruijie Zhu and Yiran Zhong and Yu Qiao and Jibin Wu and Bo Xu and Guoqi Li},
journal= {arXiv preprint arXiv:2411.10741},
year = {2024}
}