具有傅里叶积分注意力的Transformer

多头注意力推动了近期Transformer的成功，这类最先进的模型在序列建模及其他领域取得了显著成果。这些注意力机制计算查询与键之间的成对点积，这源于使用未归一化高斯核，并假设查询服从高斯混合分布。无法保证该假设在实践中成立。对此，我们首先将Transformer中的注意力解释为非参数核回归。随后提出FourierFormer，一类新的Transformer，其中点积核被新颖的广义傅里叶积分核所替代。与点积核不同——点积核需要选取良好的协方差矩阵以捕捉数据特征的依赖关系——广义傅里叶积分核可自动捕捉此类依赖并免去协方差矩阵调参之需。我们从理论上证明所提傅里叶积分核能有效逼近任意键与查询分布。相较于采用点积注意力的常规Transformer，FourierFormer取得了更优精度并降低了注意力头间的冗余。我们在语言建模与图像分类等多种实际应用上实证验证了FourierFormer相对于基线Transformer的优势。