学生对编程生成式人工智能反馈的感知与偏好
人机交互
2023-12-20 v1 人工智能
计算机与社会
摘要
人工智能（AI）的快速发展，特别是大语言模型（LLM），为各类教育应用带来了机遇。本文探讨了在计算机科学导论（CS1）课程中，利用最受欢迎的LLM之一ChatGPT为Java编程作业自动生成反馈的可行性。具体而言，本研究聚焦于三个问题：1）学生在多大程度上认为LLM生成的反馈具有形成性？2）学生如何看待包含其代码与不包含其代码的反馈提示之间的比较优势？3）学生对于改进AI生成的反馈有哪些建议？为解决这些问题，我们使用ChatGPT API为CS1课程的四个实验作业生成了自动反馈。调查结果显示，学生认为该反馈与Shute确立的形成性反馈指南高度契合。此外，学生明显偏好将学生代码作为LLM提示一部分所生成的反馈，我们的主题研究表明，这种偏好主要归因于反馈的具体性、清晰度与纠正性。而且，本研究发现学生普遍期望包含充足代码示例的具体且具纠正性的反馈，但对反馈的语气存在分歧。本研究表明，ChatGPT能够生成被学生视为具有形成性的Java编程作业反馈。它还提供了使ChatGPT生成的反馈对学生更为有用的具体改进见解。
引用
@article{arxiv.2312.11567,
title = {Students' Perceptions and Preferences of Generative Artificial Intelligence Feedback for Programming},
author = {Zhengdong Zhang and Zihan Dong and Yang Shi and Noboru Matsuda and Thomas Price and Dongkuan Xu},
journal= {arXiv preprint arXiv:2312.11567},
year = {2023}
}