StudyChat 数据集：分析人工智能课程中学生与 ChatGPT 的对话

大型语言模型（LLMs）（如 ChatGPT）的广泛普及对教育产生了重大影响，带来了机遇与挑战。学生可以经常与基于 LLM 的交互式学习工具互动，但需要观察和理解他们的使用模式。我们引入了 StudyChat，一个公开可用的数据集，记录了在一个为期一学期的大学水平人工智能（AI）课程中，学生与基于 LLM 的辅导聊天机器人的真实交互。我们部署了一个复制 ChatGPT 核心功能的 Web 应用程序，并使用它记录学生在完成编程作业时与 LLM 的交互。我们收集了 16,851 次交互，并使用受观察到的交互模式和先前研究启发的对话行为标注模式对其进行标注。我们分析了这些交互，突出了使用趋势，并分析了特定学生行为与其课程成绩之间的相关性。我们发现，提示 LLM 以获取概念理解和编程帮助的学生往往在作业和考试中表现更好。此外，使用 LLM 撰写报告和规避作业学习目标的学生，其考试成绩低于其他学生。StudyChat 作为一个共享资源，旨在促进对 LLM 在教育中不断演变的角色的进一步研究。