实质胜于形式：初学者为何难以使用 LLM 编写代码
计算机与社会
2024-10-29 v1 机器学习
摘要
尽管 LLM 正在增加专业程序员的生产力，但现有研究表明，初学者在尝试使用 LLM 解决文本转代码任务时会遇到困难。为何会出现这种情况？本文探讨了两种关于学生与 LLM 之间误沟通原因的假设：（1）学生仅缺乏编写优质提示词所需的技术词汇；（2）学生不理解 LLM 需要解决代码生成任务的知识范围。我们通过对技术词汇进行因果干预实验来研究（1），并通过分析抽象学生修改提示词的图谱以及不同失败模式来研究（2）。我们发现实质胜于形式：对技术词汇的不良掌握仅与提示失败相关联；提示的知识内容能预测成功率；学生会卡在进行琐碎修改上；此外亦然。我们的发现对 LLM 在编程教育中的使用具有意义，并有助于通过 LLM 使计算更易于普及。
引用
@article{arxiv.2410.19792,
title = {Substance Beats Style: Why Beginning Students Fail to Code with LLMs},
author = {Francesca Lucchetti and Zixuan Wu and Arjun Guha and Molly Q Feldman and Carolyn Jane Anderson},
journal= {arXiv preprint arXiv:2410.19792},
year = {2024}
}