将 Transformer 中的原语学习机制与人类情景记忆联系起来

理解人工智能系统与生物智能系统之间的联系，能够揭示通用智能的基本原理。虽然许多人工智能模型都有对应的神经科学学派，但在 Transformer 模型及其自注意力机制方面，这些联系却相对缺乏。本文考察了相互作用的注意力头与人类情景记忆之间的关系。我们聚焦于贡献于 Transformer 架构大语言模型（LLM）进行原语学习的归纮注意力头。我们展示，归纮注意力头在行为、功能和机制上都与人类情景记忆的情境维护与检索（CMR）模型相似。我们的分析表明，针对大规模文本数据的预训练 LLM 中，类 CMR 的注意力头常在中间和后层出现，定性地镜像了人类记忆偏差。对类 CMR 注意力头的消融实验表明，其在原语学习中发挥着因果作用。我们的发现揭示了 LLM 计算机制与人类记忆之间的平行，为两大研究领域都提供了宝贵的洞见。