大型语言模型用于识别和刻画学生误解的研究

本研究提出了一种系统方法，通过结合定量绩效分析和大型语言模型 (LLM) 评估来识别和刻画线上学习环境中的学生误解。我们分析了来自 5 门线上生物医学科学课程中 9 个课程周期的数据，涵盖 3,802 名医学生的招生。通过分析每个课程中 40-50 项主题聚焦小测验的数据，我们开发了一个两阶段方法。首先，我们使用小测验水平绩效指标识别具有挑战性的核心主题。其次，我们运用大型语言模型来刻画这些高优先级领域中的底层误解。通过检查学生在首次尝试中针对主要是多选题 (MCQs) 的表现，我们识别出持续具有挑战性且也是课程目标的核心主题。然后，我们利用近期生成式 AI 的进展综合分析三个不同的数据来源：小测验问题内容、学生响应模式和讲座记录。这一方法揭示了学生误解的可操作见解，这些见解仅凭绩效数据本身是无法看到的。主题领域专家认为，LLM 识别的误解质量优秀。我们还对教师进行了访谈，以评估主题识别方法的感知实用性。教师认为，数据驱动的挑战性主题识别具有价值，并与其自身课堂观察相符。这一方法提供了一种可扩展的做法，用于刻画学习环境中学生的困难。我们的发现表明，这种方法可以为未来课程的迭代提供针对性的、甚至是个人化的干预路径，并通过后续小测验绩效清晰地衡量干预效果。