具有快速查找与定长表示的低开销线性注意力机制

softmax 基于内容的注意力机制已被证明在循环神经网络的许多应用中非常有益。然而，它存在两个主要的计算局限性。首先，其注意力查找的计算量随被关注序列的长度呈线性增长。其次，它不将序列编码为定长表示，而是需要记忆所有隐藏状态。这两个局限性将 softmax 注意力机制的使用限制在序列较短且每个序列查找次数较少的相对小规模应用中。在本工作中，我们引入了一族旨在克服上述两个局限性的线性注意力机制。我们证明，从传统注意力公式中移除 softmax 非线性性可产生常数时间的注意力查找和被关注序列的定长表示。这些特性使得这些线性注意力机制特别适用于具有极高查询负载、实时要求和内存约束的大规模应用。在问答任务上的早期实验表明，这些线性机制产生的准确率结果显著优于无注意力的情况，但显然差于其 softmax 替代方案。