通过突触可塑性实现注意力：基于生物学启发的脉冲神经形态 Transformer

注意力是大脑对特定少数方面进行选择性聚焦而忽略无关方面的能力。这一生物学原理启发了现代 Transformer 中的注意力机制。Transformer 现在支撑着大型语言模型 (LLM) 如 GPT，但代价是巨大的训练和推理能耗，导致较大的碳足迹。虽然大脑注意力从神经电路中产生，Transformer 注意力依赖于点积相似性来加权输入序列中的元素。神经形态计算，特别是脉冲神经网络 (SNN)，提供了一条源自大脑的高效智能路径。尽管近期工作探索了基于注意力的脉冲 Transformer，但核心注意力层仍非神经形态。当前的脉冲注意力 (i) 依赖于点积或元素级相似性，适用于浮点运算，不适用于事件驱动的脉冲；(ii) 保留注意力矩阵，受制于 von Neumann 瓶颈，限制了就地计算；(iii) 与大脑类似的计算仍有差异。为解决这些问题，我们提出了基于突触时序依赖可塑性 (STDP) 的脉冲注意力 Transformer (S²TDPT)，一种实现自注意力的神经形态 Transformer，通过 STDP 将查询-键相关性嵌入突触权重中。STDP 是大脑中记忆与学习的核心机制，在神经形态设备中广泛研究，天然支持就地计算并支持非 von Neumann 硬件。在 CIFAR-10 和 CIFAR-100 上，我们的模型分别以 94.35% 和 78.08% 的准确率使用仅四个时间步和 0.49 mJ 在 CIFAR-100 上实现，相较于标准 ANN Transformer 节省 88.47% 的能耗。Grad-CAM 显示，该模型注意力聚焦于语义相关区域，增强可解释性。总体而言，S²TDPT 说明了生物学启发的注意力如何实现高效、硬件友好且可解释的神经形态模型。