变压器通过链式思考高效求解奇偶校验问题

本工作对训练变压器以递归生成中间状态以解决复杂问题的理论分析提供了首次洞见，类似于针对链式思考(CoT)的微调。我们考虑训练单层变压器解决基本k-奇偶校验问题，延续了Wies等人(2023)关于循环神经网络的工作。我们确立了三个关键结果：(1)任何有限精度的梯度算法，在无中间监督的情况下，需要大量迭代才能以有限样本解决奇偶校验问题。(2)相反， 当中间奇偶校验被纳入损失函数时，我们的模型可在辅以“教师强制”(teacher forcing)的条件下，在一次梯度更新中学习奇偶校验，其中在每个生成步骤中提供真实标签的推理链。(3)即使没有教师强制，模型必须端到端生成CoT链，若采用增强数据来内部验证中间步骤的正确性，奇偶校验仍可有效学习。我们的发现得到数值实验的支持，表明任务分解和分步推理自然从优化变压器的CoT中涌现；此外，自洽性检查可提升多步推理能力，与CoT的实证研究相吻合。