AutoTutor 邂逅大语言模型：具备丰富教学法与安全护栏的语言模型导师
计算与语言
2024-04-26 v3 人机交互
摘要
大语言模型（LLMs）在教育领域已发现多种用例， ranging from 自动问题生成到作文评估。在本文中，我们探讨了利用大语言模型（LLMs）构建智能辅导系统（Intelligent Tutoring Systems）的潜力。LLMs 的一个常见缺陷是偏离预期的教学策略，例如向学生泄露答案，且通常无法提供任何保证。我们认为，虽然带有特定安全护栏（guardrails）的 LLMs 可以取代学科专家，但整体的教学设计仍需手工打造以获得最佳学习效果。基于这一原则，我们创建了一个名为 MWPTutor 的端到端辅导系统示例，该系统利用 LLMs 填充预定义有限状态 transducer 的状态空间。这种方法保留了传统辅导系统多年来由学习科学家开发的结构和教学法，同时引入了基于 LLM 方法的额外灵活性。通过对基于数学应用题的两个数据集进行人工评估研究，我们表明，与经过指令微调但 otherwise 自由形式的 GPT-4 相比，我们的混合方法实现了更好的整体辅导评分。MWPTutor 完全是模块化的，为社区通过改进各个模块或采用不同的教学策略来提升其性能开辟了空间。
引用
@article{arxiv.2402.09216,
title = {AutoTutor meets Large Language Models: A Language Model Tutor with Rich Pedagogy and Guardrails},
author = {Sankalan Pal Chowdhury and Vilém Zouhar and Mrinmaya Sachan},
journal= {arXiv preprint arXiv:2402.09216},
year = {2024}
}
备注
To be presented at Learning@Scale 2024