通过决策模型弥合新手与专家差距：以数学错误补救为例
计算与语言
2024-04-09 v3 人工智能
摘要
规模化提供高质量辅导仍是教育领域的一大挑战。由于需求不断增长，许多平台雇佣新手辅导者，他们与经验丰富的教育者不同，难以应对学生的错误，从而错失最佳学习机会。我们的工作探索了大型语言模型（LLMs）在弥合数学错误补救方面新手—专家知识差距的潜力。我们提出 Bridge 方法，利用认知任务分析将专家的潜在思维过程转化为用于补救的决策模型。这涉及专家在生成回复前识别（A）学生的错误、（B）补救策略以及（C）其意图。我们构建了一个包含 700 段真实辅导对话的数据集，由专家对其决策进行标注。我们在该数据集上评估了最先进的 LLMs，发现专家的决策模型对 LLMs 弥合差距至关重要：带有专家决策（如“简化问题”）的 GPT4 回复比不带时受欢迎度高出 76%。此外，对情境敏感的决策对弥合教学差距至关重要：随机决策使 GPT4 的回复质量比专家决策下降 97%。我们的工作展示了将专家思维过程嵌入 LLM 生成以增强其弥合新手—专家知识差距能力的潜力。我们的数据集与代码见：\url{https://github.com/rosewang2008/bridge}。
引用
@article{arxiv.2310.10648,
title = {Bridging the Novice-Expert Gap via Models of Decision-Making: A Case Study on Remediating Math Mistakes},
author = {Rose E. Wang and Qingyang Zhang and Carly Robinson and Susanna Loeb and Dorottya Demszky},
journal= {arXiv preprint arXiv:2310.10648},
year = {2024}
}
备注
NAACL 2024. Code: https://github.com/rosewang2008/bridge