Transformer中的进位算法

加法也许是最简单的算术任务之一，通常使用进位算法执行。该算法包含两个任务：将相同位置的数字相加，以及在必要时进位1。我们研究Transformer模型如何实现该算法，以及上述两个任务如何分配到网络的不同部分。我们首先关注两层仅编码器模型，并表明进位算法是以模块化方式实现的。第一层主要负责将相同位置的数字相加。第二层首先在注意力机制中决定哪些位置需要进位1，然后在最终的MLP中执行进位。我们提供了一种简单的方法来精确识别负责该任务的神经元。这种进位算法的实现在一系列超参数下对于两层和三层模型都成立。对于小型仅解码器模型，我们观察到相同的实现，并提供了暗示性证据表明其在三个7B大型语言模型中也存在。