Transformer 机制在人类工作记忆任务训练中模仿额纹状体门控操作

基于 Transformer 神经网络架构的模型在多种看似需要复杂“认知分支”的任务上取得了成功——即能够在完成其他目标的同时维持对一个目标的追求。在认知神经科学中，此类任务的成功被认为依赖于用于选择性门控的复杂额纹状体机制，该机制能够实现信息到不同记忆“地址”（以神经元簇的形式）的角色可寻址更新以及后续读出。然而，Transformer 模型并没有有意内置这样的机制。因此，一个悬而未决的问题是 Transformer 如何解决此类任务，以及帮助它们做到这一点的涌现机制是否与人类大脑中的门控机制有任何相似之处。在这项工作中，我们分析了一个纯注意力 Transformer 在受计算认知神经科学中明确设计用于研究工作记忆门控的任务启发的简单序列建模任务上训练后涌现的机制。我们发现，作为训练的结果，Transformer 内的自注意力机制以一种反映输入和输出门控机制的方式专门化，而这些门控机制先前被明确纳入更受生物学启发的架构中。这些结果为未来研究现代 AI 架构与人类大脑模型之间的计算相似性提供了机会。