变换器中的逻辑分析是发生在自注意力机制还是在全连接层中？

变换器架构对表示为向量的标记应用自注意力机制，随后再经过全连接（神经网络）层。这种两种结构可以堆叠多层。传统上，人们认为自注意力是一种在逻辑运算之前对信息进行聚合的机制，而逻辑运算则由全连接层执行。本文我们表明，逻辑分析同样可以在自注意力内部完成。为此，我们实现了一个手工设计的单层编码器层，在其中自注意力中执行逻辑分析。然后我们研究了在进行梯度下降自学习的单层变换器模型时，模型是否在全连接层或自注意力机制中进行逻辑分析。鉴于梯度下降可能陷入不期望的零点，我们显式计算这些不需要的零点并找到了避免这些零点的方法。我们所做的工作均基于对预测文本中相邻标记语法类别对的任务。我们认为自己的发现对理解自注意力所执行的潜在逻辑运算具有更广泛的意义。