从学生-AI 聊天记录中开掘金子：用于自动化知识缺口检测的丰富数据源
人机交互
2025-12-30 v1 软件工程
摘要
随着过去二十年中计算相关项目报名人数显著增加，课堂规模也相应增长。在大型课堂中，教师面临着及时识别学生知识缺口的挑战，这对于有效的教学至关重要。现有的课堂响应系统依赖于教师发起的互动，限制了其捕捉课堂自然产生的即时知识缺口的能力。鉴于 LLM 在学生中广泛采用，我们认识到这些学生-AI 对话作为识别知识缺口的宝贵、以学生为中心的数据源。本文是一篇思想论文，我们提出 QueryQuilt，一个多智能体 LLM 框架，通过分析学生与 AI 助手的聊天记录自动检测大规模课堂中常见的知识缺口。QueryQuilt 由两个关键组件构成：(1) 一个对话智能体，用于响应学生提问，同时采用探测性问题揭示底层知识缺口；以及 (2) 一个知识缺口识别智能体，用于系统性地分析这些对话以识别整个学生群体中的知识缺口。通过生成识别缺口的频率分布，教师可以获得对整个班级理解情况的全面见解。我们的评估显示出有希望的結果，QueryQuilt 在模拟学生中实现 100% 的知识缺口识别准确率，在真实学生-AI 对话数据上测试时达到 95% 的完整性。这些初始发现表明该系统有潜力用于促进真实学习环境中的教学。我们计划在实际课堂环境中部署 QueryQuilt，进行全面评估，衡量其检测准确率和对教学的影响。
引用
@article{arxiv.2512.22404,
title = {Mining the Gold: Student-AI Chat Logs as Rich Sources for Automated Knowledge Gap Detection},
author = {Quanzhi Fu and Qiyu Wu and Dan Williams},
journal= {arXiv preprint arXiv:2512.22404},
year = {2025}
}
备注
6 pages, 2 figures