传输中丢失：当LLM为何在全局推理中失败

尽管取得了许多成功，基于transformer的大语言模型(LLM)仍然在需要对其输入的大部分进行复杂推理的任务中困难。我们认为，这些失败源于LLM内部信息准确传递能力的限制。为形式化这一问题，我们引入了受限注意力前缀占位符模型(BAPO)，一种新的计算框架，模型了注意力头的带宽限制，这是LLM内部通信的机制。我们表明，诸如图可达性等重要推理问题需要BAPO具有高通信带宽才能解决；我们称这些问题为BAPO-hard。我们的实验证实了我们的理论预测：GPT-4o、Claude和Gemini在BAPO-easy任务上成功，而在相对较小的BAPO-hard任务上失败。BAPO还揭示了链式思维(CoT)的另一项好处：我们证明，使用CoT将任务分解可以将任何BAPO-hard问题转化为BAPO-easy问题。我们的结果为解释LLM的关键失败提供了原则性解释，并为缓解带宽限制的架构和推理方法提供了方向。