超越注意力：面向具备内在高级心理状态的机器

对相关信息的注意是哺乳动物大脑和现代机器学习模型(如Transformer)的核心特征。然而, 确定相关性仍是核心挑战, 传统上由反向传播等学习算法承担。灵感来自最近将神经皮层锥体细胞与特定心理状态关联的神经生理学证据, 本工作展示了如何使模型(如Transformer)模拟高级感知处理和清醒思维(想象)状态, 在应用注意力之前预先选择相关信息。在问题($Q$)、线索(键$K$)和假设(值$V$)之间形成三元神经水平调制环, 可在表征层实现多样化、深层、平行的推理链, 并实现从初始偏见到精细化理解的快速转变。这导致计算需求显著降低(例如, 更少的注意力头、层数和token数), 约为输入token数的$\mathcal{O}(N)$。结果涵盖强化学习(如在高维视觉环境下的CarRacing)、计算机视觉和自然语言问答。