提示问题：生成式 AI 时代的一种新编程练习
人机交互
2023-11-13 v1
摘要
大型语言模型(LLMs)凭借其强大的代码生成能力正在革新计算教育领域。传统教学实践侧重于代码编写任务，但现在重要性已转向代码阅读、理解以及对 LLM 生成代码的评估。伴随这一转变，一项重要的新技能正在浮现——通过为代码生成模型构建良好提示来解决编程任务的能力。在这项工作中，我们引入一种新型编程练习来磨练这一新兴技能：“提示问题”(Prompt Problems)。提示问题旨在帮助学生学会为 AI 代码生成器编写有效提示。学生通过精心制作自然语言提示来解决提示问题，该提示作为输入提供给 LLM 时，能输出成功解决指定编程任务的代码。我们还提出了一个名为 Promptly 的新型基于 Web 的工具，它托管提示问题库并支持对提示生成代码的自动评估。我们首次在一个 CS1 和一个 CS2 课程中部署 Promptly，并描述了我们的经验，包括学生对此新型活动的看法及其与工具的交互。我们发现学生对提示问题充满热情，并赞赏这些问题调动了他们的计算思维技能并使他们接触到新的编程结构。我们讨论未来开发提示问题新变体的想法，以及仔细研究其融入课堂教学的必要性。
引用
@article{arxiv.2311.05943,
title = {Prompt Problems: A New Programming Exercise for the Generative AI Era},
author = {Paul Denny and Juho Leinonen and James Prather and Andrew Luxton-Reilly and Thezyrie Amarouche and Brett A. Becker and Brent N. Reeves},
journal= {arXiv preprint arXiv:2311.05943},
year = {2023}
}
备注
Accepted to SIGCSE'24. arXiv admin note: substantial text overlap with arXiv:2307.16364