编程教育中AI生成（GPT-4）与人工编写选择题的比较研究
计算机与社会
2023-12-07 v1 人工智能
计算与语言
摘要
教育工作者持续需要开发和维护有效且与时俱进的教学评估。尽管计算教育领域关于利用大型语言模型（LLM）生成和参与编码练习的研究日益增多，但利用LLM生成编程选择题（MCQ）尚未得到广泛探索。我们分析了GPT-4生成与高等教育Python编程课程中特定学习目标（LO）对齐的选择题的能力。具体而言，我们开发了一个由LLM（GPT-4）驱动的系统，用于从高层课程背景和模块级学习目标生成选择题。我们评估了651道LLM生成和449道人工编写的选择题，这些题目对齐了来自6门Python课程的246个学习目标。我们发现GPT-4能够生成语言清晰、具有单一正确选项和高质量干扰项的选择题。我们还观察到生成的选择题似乎与学习目标高度对齐。我们的发现可供希望利用最先进生成模型来支持选择题编写工作的教育工作者借鉴。
引用
@article{arxiv.2312.03173,
title = {A Comparative Study of AI-Generated (GPT-4) and Human-crafted MCQs in Programming Education},
author = {Jacob Doughty and Zipiao Wan and Anishka Bompelli and Jubahed Qayum and Taozhi Wang and Juran Zhang and Yujia Zheng and Aidan Doyle and Pragnya Sridhar and Arav Agarwal and Christopher Bogart and Eric Keylor and Can Kultur and Jaromir Savelka and Majd Sakr},
journal= {arXiv preprint arXiv:2312.03173},
year = {2023}
}