基于误解概念的LLM认知模型
人机交互
2024-10-18 v2 计算与语言
计算机与社会
机器学习
摘要
准确建模学生认知对于开发有效的AI驱动教育技术至关重要。一个关键挑战是创建能够满足两个基本属性的真实学生模型：(1) 准确复制特定误解，(2) 在这些误解不适用的问题中正确求解问题。这个双重要求反映了学生理解的复杂性——误解与正确知识共存。本文研究了大型语言模型（LLM）是否可以经过指令调优以满足这一双重要求并有效模拟学生在代数中的思维方式。我们引入了MalAlgoPy，一个新型Python库，通过图形表示代数问题解决来生成反映真实学生解题模式的数据集。利用MalAlgoPy，我们定义并检查了认知学生模型（CSM）——经过指令调优以忠实模拟真实学生行为的LLM。我们的发现表明，在误解示例上训练的LLM能够高效学习复制错误。然而，训练会削弱模型解决问题正确的能力，特别是对于误解不适用的问题类型，因而未能满足CSM的第二个属性。我们展示了通过仔细校准正确示例与误解示例的比例——甚至可以低至0.25——就能开发出满足两个属性的CSM。我们的见解增进了对AI基于学生模型的理解，为开发有效的自适应学习系统指明了方向。
引用
@article{arxiv.2410.12294,
title = {LLM-based Cognitive Models of Students with Misconceptions},
author = {Shashank Sonkar and Xinghe Chen and Naiming Liu and Richard G. Baraniuk and Mrinmaya Sachan},
journal= {arXiv preprint arXiv:2410.12294},
year = {2024}
}