学生代码的 Socratic 调试推理轨迹：从误概念到矛盾与更新信念

在 Socratic 调试中，教师引导学生自行识别和修复错误，而不是直接提供错误修复方案。大多数初学者编程错误是由编程误概念引起的，即关于编程概念的错误信念。在此背景下，Socratic 调试可形式化为引导推理轨迹（RT），以致于关于程序行为的陈述与引发误概念的矛盾。当达到此矛盾后，随后的认知失调预计会导致学生自行识别错误信念，并随后进行持久的信念更新。本文引入了推理轨迹生成任务，并提供了一个包含经 RT 标记的调试问题数据集，这些 RT 要么是手动创建，要么由 LLM 生成。我们 then 描述了用于生成 RT 和以它们为依据的 Socratic 对话的 LLM-based 解决方案。一个大规模的 LLM 作为评判器的评估显示，大型语言和推理模型可生成最高达 91% 正确的推理轨迹和 98.7% 有效的对话轮次。