如何才能做对？利用 GPT 重述受训者不正确的回答

一对一辅导被广泛认为是一种有效的教学方法，其前提是拥有合格的导师。然而，对合格导师的高需求仍然是一个挑战，这通常需要培训新手导师（即受训者）以确保辅导的有效性。研究表明，提供及时的解释性反馈可以促进受训者的培训过程。然而，由于人类专家评估受训者表现的过程十分耗时，这带来了挑战。受大型语言模型（LLM）最新进展的启发，我们的研究采用了 GPT-4 模型来构建一个解释性反馈系统。该系统以二元形式（即正确/不正确）识别受训者的回答，并自动提供基于模板的反馈，其中回答由 GPT-4 模型进行了适当重述。我们针对来自三节培训课程（“给予有效表扬”、“应对错误”和“确定学生所知内容”）的 410 份受训者回答进行了研究。我们的研究结果表明：1）使用少样本方法，GPT-4 模型能有效地从三节培训课程中识别出正确/不正确的受训者回答，平均 F1 得分为 0.84，AUC 得分为 0.85；2）使用少样本方法，GPT-4 模型能熟练地将受训者不正确的回答重述为期望的回答，实现了与人类专家相当的性能。