中文

在实践考试中引入元认知要求如何转化学生学习行为——针对 AI 反馈的支持

人机交互 2025-05-20 v1 人工智能

摘要

在大型本科 STEM 课程中按规模提供个性化、详细反馈始终是一项持久挑战。我们提出了一个经过实证评估的练习考试系统,将 AI 生成的反馈与针对性教科书参考集成到大型入门生物课程中部署。该系统通过要求学生解释答案并声明置信水平来鼓励元认知行为。系统使用 OpenAI 的 GPT-4o 根据此信息生成个性化反馈,同时将学生引导至相关教科书章节。通过来自三次中期考试(分别为 541、342 和 413 名学生)的交互日志,累计 28,313 条问题-学生互动,涵盖 146 个学习目标,外加 279 份调查和 23 份访谈,我们检验了该系统对学习结果和参与度的影响。在所有中期考试中,反馈类型之间未显示统计上显著的绩效差异,尽管一些趋势暗示了潜在益处。最显著的影响来自必需的置信评级和解释,学生报告称其转移到实际考试策略中。约 40% 的学生在被反馈提示时与教科书参考互动——远高于传统阅读率。调查数据显示满意度高(平均评分 4.1/5),82.1% 的学生表示对练习中期主题的置信度提升,73.4% 的学生表示能回想并运用具体概念。我们的发现表明,嵌入结构化反思要求可能比精细的反馈机制更具影响力。

关键词

引用

@article{arxiv.2505.13381,
  title  = {How Adding Metacognitive Requirements in Support of AI Feedback in Practice Exams Transforms Student Learning Behaviors},
  author = {Mak Ahmad and Prerna Ravi and David Karger and Marc Facciotti},
  journal= {arXiv preprint arXiv:2505.13381},
  year   = {2025}
}

备注

10 pages, 3 figures, to appear in Proceedings of the Twelfth ACM Conference on Learning @ Scale (L@S 2025), July 2025, Palermo, Italy