利用大语言模型自动生成编程练习与代码解释
软件工程
2022-06-28 v2 人工智能
计算与语言
摘要
本文探讨了大语言模型的自然语言生成能力在编程课程中两类常见学习资源制作上的应用。我们使用 OpenAI Codex 作为大语言模型，创建编程练习（包括示例解决方案与测试用例）和代码解释，并从定性与定量两方面进行评估。我们的结果表明，绝大多数自动生成的内容既新颖又合理，某些情况下可直接使用。在创建练习时，我们发现只需向模型提供关键词作为输入，就能极其容易地影响其所包含的编程概念与情境主题。我们的分析表明，大规模生成式机器学习模型作为教师工具具有显著价值，尽管在将生成内容交付给学生之前仍需一定监督以确保质量。我们进一步讨论了 OpenAI Codex 及类似工具对编程入门教育的影响，并指出了有望改善师生教育体验质量的未来研究方向。
引用
@article{arxiv.2206.11861,
title = {Automatic Generation of Programming Exercises and Code Explanations using Large Language Models},
author = {Sami Sarsa and Paul Denny and Arto Hellas and Juho Leinonen},
journal= {arXiv preprint arXiv:2206.11861},
year = {2022}
}
备注
18 pages, 1 figure, accepted in ICER