用于编程作业自动反馈的大型语言模型（GPT）
人机交互
2023-07-04 v1 人工智能
摘要
由于代码语法复杂以及正确完成任务的方式多样等因素，为编程作业生成个性化反馈颇具挑战。在本实验研究中，我们采用 OpenAI 的 GPT-3.5 模型自动生成反馈，为在自动评测平台上完成编程作业的学生提供个性化提示。学生对 GPT 生成提示的有用性给予了积极评价。实验组（启用 GPT 提示）较少依赖平台的常规反馈，但在启用 GPT 提示的任务中，其连续尝试的成功提交比例更高。对于未提供 GPT 反馈的任务，实验组求解作业所需时间显著更少。此外，当 GPT 提示不可用时，实验组学生最初正确求解作业的可能性较低，这表明可能存在对 GPT 生成反馈的过度依赖。然而，实验组学生能够较快纠正，在七次提交尝试后达到相同的正确比例。GPT 提示的可用性并未显著影响学生的情感状态。
引用
@article{arxiv.2307.00150,
title = {Large Language Models (GPT) for automating feedback on programming assignments},
author = {Maciej Pankiewicz and Ryan S. Baker},
journal= {arXiv preprint arXiv:2307.00150},
year = {2023}
}
备注
Submitted to the ICCE 2023 (31st International Conference on Computers in Education)