元素级注意力皆是所需

自注意力（SA）机制在各类领域展现出卓越性能，但在训练和推理过程中面临巨大的计算复杂度。下一代架构旨在在保持SA竞争性能的同时，实现低成本推理和高效长序列训练，主要集中于三种方法：线性注意力、线性RNN和状态空间模型。尽管这些方法相较于SA实现了更低的复杂度，但都内置了性能降解因素，如注意力“稀疏化”和历史信息压缩。与此不同，我们提出一种新型元素级注意力机制，该机制使用元素级平方欧几里得距离而非点积运算来计算相似度，并用Taylor多项式近似二次复杂度项 $\exp(q_{ic}k_{jc})$。该设计实现了显著的效率：在训练阶段，元素级注意力的复杂度为 $\mathcal{O}(tLD)$，实现了长序列的计算和内存效率，其中 $L$ 为序列长度，$D$ 为特征维度，$t$ 为多项式的最高阶数；在推理阶段，可重构为循环神经网络，实现推理复杂度 $\mathcal{O}(tD)$。此外，元素级注意力规避了上述方法中存在的性能降解因素，在因果和非因果形式下均达到与SA相当的性能。