唯一硬注意力：两面解析

近期备受关注的是理解变换器（transformer）的表达能力，其提供了对其能力与局限性的洞见。许多研究分析唯一硬注意力变换器，其中注意力选择单个最大化注意力得分的位置。当多个位置获得相同的最大得分时，通常选择其中最右侧或最左侧的位置。本文强调了这一看似平凡的细节的重要性。最近的研究表明，具有左右两侧硬注意力的有限精度变换器等价于线性时序逻辑（Linear Temporal Logic，LTL）。我们证明，仅使用左侧硬注意力时，这一等价性不复存在——此时，模型对应于LTL的一个\emph{严格较弱}的片段。此外，我们进一步表明，具有左侧硬注意力的模型等价于\emph{软注意力}，这表明它们可能更好地逼近现实中的变换器，而右侧注意力模型则不然。这些发现细化了变换器表达能力的格局，凸显了注意力方向性的作用。