大语言模型在多跳查询中的局限性探索

大语言模型（LLMs）能够解决复杂的多步骤问题，但关于这些计算在内部如何实现的了解甚少。为此，我们研究了LLMs如何回答需要两个信息抽取步骤的查询，例如“Imagine的演唱者的配偶是谁”。这些查询要求：隐藏步骤解析第一个跳（“Imagine的演唱者”）以得到桥接实体（约翰·列侬），以及解析第二个跳（“约翰·列侬的配偶”）以得到目标实体（yoko Ono）。理解隐藏步骤如何在内部计算对于理解整体计算至关重要。通过仔细分析基于变换器的LLMs的内部计算，我们发现桥接实体在模型的早期层中被解析。随后，只有在这些解析之后，两个跳的查询才在后期层中得到解决。由于第二个跳在后期层中开始，因此可能存在后期层不再编码正确预测答案所必需的知识的情况。为此，我们提出一种新的“反补丁”分析方法，即将来自后期层的隐藏表示补丁回到早期层。我们发现，在最多66%的先前错误案例中，存在可实现正确答案生成的反补丁，表明后期层确实有时缺乏所需的功能。总体而言，我们的方法和发现为理解和改进基于变换器的LLMs中的隐式推理提供了新的机会。