自注意力机制下下一词预测中自发主题变化的动力学

人类认知被突然、自发的主题转换所打断——由情感、上下文或联想线索驱动——这种现象在神经科学中被称为自发思维。相比之下，基于自注意力的模型依赖于其输入上的结构化模式来预测每个下一词，缺乏自发性。受这一区别的启发，我们刻画了自注意力架构中的自发主题变化，揭示了它们与人类自发思维的相似性和差异性。首先，我们在简化的单层自注意力模型下，通过将主题定义为一组令牌优先级图（TPGs），在适当条件下建立了理论结果。具体来说，我们证明了：（1）模型保持与输入主题相关的令牌的优先级顺序；（2）只有当低优先级令牌的数量超过输入主题的所有高优先级令牌时，才会发生自发主题变化；（3）与人类认知不同，更长的上下文长度或更模糊的输入主题会降低自发变化的可能性。其次，我们通过实验验证了这些动力学在当代最先进的LLM中持续存在，强调了在自发主题变化背景下人类认知与AI行为之间的根本差异。据我们所知，之前没有工作以如此贴近人类思维的焦点来探索这些问题。