语言模型可以学习隐式多跳推理，但前提是需要大量训练数据

隐式推理是指语言模型在单次前向传播中无需思维链（chain of thought）即可解决多跳推理任务的能力。我们使用从零开始训练的 GPT2 风格语言模型，在受控的 $k$-跳推理数据集（$k = 2, 3, 4$）上研究了这一能力。我们表明，这类模型确实可以学习隐式 $k$-跳推理，但所需的训练数据随 $k$ 呈指数增长，而所需的 Transformer 层数随 $k$ 呈线性增长。我们为这种深度增长的必要性提供了理论解释。进一步地，我们发现数据需求可以通过课程学习（curriculum learning）来缓解，但无法消除。