层序反转：大型语言模型中隐式多跳推理的再思考

大型语言模型（LLM）在多跳推理方面表现良好，但它们如何内部组合多个事实仍不清晰。近期研究提出“跳跃对齐电路假设”，认为桥接实体在后续层中顺序计算，随后才能解码后续跳跃的答案。通过对真实世界多跳查询的系统性分析，我们发现该跳跃对齐假设不具普适性：后续跳跃的答案实体可在桥接实体之前变得可解码，这一现象我们称为“层序反转”，且随着总跳跃数的增加而加剧。为解释这一行为，我们提出了“概率性召回-提取”框架，将多跳推理建模为浅层MLP中的广义概率性召回，随后在更深的注意力层中进行选择性提取。该框架通过系统性探针分析得到实证验证，重新解释了先前的层级解码证据，解释了链式思维的提升，并对尽管单跳知识正确却多跳失败提供了机制性诊断。代码已公开：https://github.com/laquabe/Layer-Order-Inversion。