合成学生：大语言模型与计算学生中 Bug 分布的比较研究
计算机与社会
2024-10-15 v1 人工智能
摘要
大语言模型 (LLM) 为生成合成教室数据提供了令人振奋的机会。此类数据可能包括包含典型错误分布的代码、用于解决开发教育工具时冷启动问题的模拟学生行为，以及在获取真实数据受隐私限制时使用的合成用户数据。在本研究论文中，我们进行了一项比较研究，检验大语言模型生成的错误分布是否与计算学生产生的错误分布相似。我们利用来自两项大规模分析学生生成错误的先前研究数据，调查 LLM 是否可以通过注入代码中的错误来展现出类似真实学生错误的模式。结果表明，未引导的 LLM 不会产生合情理的错误分布，许多生成的错误不太可能由真实学生产生。然而，在包括常见错误描述和典型频率的指导下，LLM 可以被引导生成在合成代码中产生真实错误分布。
引用
@article{arxiv.2410.09193,
title = {Synthetic Students: A Comparative Study of Bug Distribution Between Large Language Models and Computing Students},
author = {Stephen MacNeil and Magdalena Rogalska and Juho Leinonen and Paul Denny and Arto Hellas and Xandria Crosland},
journal= {arXiv preprint arXiv:2410.09193},
year = {2024}
}