Macformer：采用随机麦克劳林特征注意力的Transformer
机器学习
2024-08-22 v1
摘要
随机特征注意力（RFA）采用随机傅里叶特征（RFF）方法来近似softmax函数，从而产生一种线性的时间和空间注意力机制，使得构建高效的Transformer成为可能。受RFA启发，我们提出了Macformer，这是一种采用随机麦克劳林特征（RMF）来近似各种点积核的Transformer架构，从而加速长序列的注意力计算。Macformer由随机麦克劳林特征注意力（RMFA）和前后缩放批归一化（ppSBN）组成，前者是点积核化注意力的无偏近似，后者是一种两阶段正则化机制，保证了RMFA的误差。我们进行了玩具实验来证明RMFA和ppSBN的效率，并在长程竞技场（LRA）基准上进行了实验，以验证Macformer在不同点积核下的加速和准确性。Macformer的实验结果与我们的理论分析一致。
引用
@article{arxiv.2408.11656,
title = {Macformer: Transformer with Random Maclaurin Feature Attention},
author = {Yuhan Guo and Lizhong Ding and Ye Yuan and Guoren Wang},
journal= {arXiv preprint arXiv:2408.11656},
year = {2024}
}