理解与修补大语言模型中的组合推理

大语言模型（LLM）标志着革命性的转变，但在面对组合推理任务时却表现不佳。我们的研究致力于揭示 LLM 组合推理失败的根本原因，发现大多数失败源于隐式推理结果的生成或利用不当。受实证发现的启发，我们借助 Logit Lens 和干预实验来剖析 LLM 的内部隐藏状态。这一深入研究表明，隐式推理结果确实出现在中间层，并在塑造最终显式推理结果中起因果作用。我们的探索进一步定位了这些层中的多头自注意力（MHSA）模块，它们成为准确生成和利用隐式推理结果的关键。基于上述发现，我们开发了 CREME，这是一种通过编辑定位的 MHSA 模块来修补组合推理错误的轻量级方法。我们的实证证据证明了 CREME 的有效性，为自主且持续地增强语言模型中的组合推理能力铺平了道路。