大型语言模型抽象推理中的涌现符号机制

近期许多研究发现大型语言模型(LLM)中存在涌现推理能力，但关于这些能力鲁棒性以及是否依赖结构化推理机制的争论仍持续。为阐明这些问题，我们研究支撑LLM抽象推理的内部机制。我们识别出一种涌现符号架构，通过三步计算实现抽象推理。在早期层，符号抽象头部将输入标记转换为基于标记之间关系的抽象变量。在中间层，符号归纳头部对这些抽象变量执行序列归纳。在后期层，检索头部通过检索预测的抽象变量关联的值来预测下一个标记。这些结果指向解决符号网络方法与神经网络方法长期争论的方向，表明神经网络中的涌现推理依赖于符号机制的涌现。