超越 Nyströmformer —— 通过谱平移近似自注意力
机器学习
2021-03-11 v1 计算与语言
摘要
Transformer 是基于自注意力机制的强大自然语言处理工具,该机制编码其他词元对每个特定词元的依赖关系,但自注意力的计算因其二次时间复杂度而成为瓶颈。已有多种降低时间复杂度的方法,矩阵近似即是其中之一。在 Nyströmformer 中,作者使用基于 Nyström 的方法近似 softmax。Nyström 方法仅利用对称半正定(SPSD)矩阵的少数几列即可快速近似任意大规模 SPSD 矩阵。然而,由于当 SPSD 矩阵谱衰减缓慢时 Nyström 近似为低秩,其精度较低。本文提出一种替代的近似方法,其误差界远强于 Nyström 方法。该方法的时间复杂度与 Nyströmformer 相同,为 。
引用
@article{arxiv.2103.05638,
title = {Beyond Nystr\"omformer -- Approximation of self-attention by Spectral Shifting},
author = {Madhusudan Verma},
journal= {arXiv preprint arXiv:2103.05638},
year = {2021}
}