Transformer是无状态可微神经计算机

可微神经计算机（Differentiable Neural Computers, DNCs）被提出为具备可寻址外部记忆、支持可微分读写操作的循环架构。相比之下，Transformer通常被视为基于多头自注意力的前馈架构。本文给出形式化推导，证明因果Transformer层恰等于无状态可微神经计算机（stateless DNC, sDNC），其中：（1）控制器无递归内部状态；（2）外部记忆为value向量的写一次矩阵；（3）基于内容的寻址通过key实现注意力；（4）多头注意力对应多个平行读头。我们进一步将等价性扩展至交叉注意力，表明编码器-解码器Transformer恰为sDNC，其中读写记忆各异。我们的结果提供了Transformer统一记忆中心解释，助力将现代大型语言模型纳入原则化计算框架的持续努力。