大型语言模型能通过教学式思维链发现数学推理错误

自我纠错正成为缓解大语言模型幻觉问题的一种有前景的方法。为了促进有效的自我纠错，近期研究提出将错误检测作为其初始步骤。然而，现有文献表明，当使用简单的提示策略时，大语言模型通常难以可靠地识别推理错误。为应对这一挑战，我们引入了一种独特的提示策略，称为教学式思维链（PedCoT），该策略专门设计用于指导识别推理错误，特别是数学推理错误。PedCoT由提示设计教学原则（PPP）、两阶段交互过程（TIP）和基于事实的PedCoT提示组成，所有这些都受到布鲁姆认知模型（BCM）教育理论的启发。我们在两个包含不同难度数学题的公开数据集上评估了我们的方法。实验表明，我们的零样本提示策略显著优于强基线模型。所提出的方法能够实现可靠的数学错误识别目标，并为自动数学答案评分奠定基础。这些结果强调了教育理论作为领域知识，在指导提示策略设计以有效应对大语言模型挑战性任务方面的重要性。