通过巴甫洛夫条件反射的视角理解 Transformer

Transformer 架构通过其注意力机制彻底改变了人工智能（AI），但其成功背后的计算原理仍然不透明。我们提出了一个新颖的理论框架，将注意力的核心计算重新解释为巴甫洛夫条件反射。我们的模型在线性注意力中找到了直接的数学类比，这简化了对底层联想过程的分析。我们证明了注意力的查询（queries）、键（keys）和值（values）可以映射到经典条件反射的三个要素：探测联想关系的测试刺激、作为检索线索的条件刺激（CS）以及包含响应信息的非条件刺激（US）。通过这一视角，我们认为每次注意力操作都通过赫布规则构建了一个瞬态联想记忆，其中 CS-US 对形成动态联想，测试刺激随后可以检索这些联想。我们的框架基于此线性化模型产生了若干理论见解：（1）一个容量定理，表明注意力头在最坏情况下可存储 $O(\sqrt{d_k})$ 个联想以实现无错误检索，而平均情况下的检索保真度则稳健地扩展为 $O(d_k)$；（2）误差传播分析，揭示了在模型深度、宽度和注意力头冗余之间进行权衡以保持可靠性的基本架构权衡；（3）对生物学上合理的学习规则如何增强 Transformer 架构的理解。通过建立这种深层联系，我们认为现代 AI 的成功可能不仅源于架构上的新颖性，更源于其实现了类似于生物学经过数百万年进化所优化的计算原理。