软最大注意力的表达性：基于循环神经网络的视角

自 softmax 注意力提出以来，由于其表达性和在广泛任务上的可扩展性，已成为现代变换器架构的核心。然而，softmax 注意力的主要缺点是其随序列长度呈现二次内存需求和计算复杂度。通过取代 softmax 非线性函数，线性注意力等方法被引入以规避 softmax 注意力的二次瓶颈。尽管这些线性注意力形式从原始 softmax 公式中推导而来，但它们在下游准确性方面通常落后于 softmax 注意力。虽然 softmax 非线性在查询和键的内积上具有强直觉，表明其相较于其他非线性函数具有优势，但为何存在这种差异仍未得到解答。本文通过推导 softmax 注意力的循环形式，表明线性注意力是 softmax 注意力的近似。通过该形式，softmax 注意力的各个组成部分可使用循环神经网络 (RNN) 的语言进行描述。将 softmax 注意力描述为 RNN 可用于剖析其组成部分，理解每个部分的重要性及其相互作用。如此一来，本工作有助于解释为何 softmax 注意力在表达性上优于其它方法。