生成式 AI 对编程生产力与学习影响的元分析
软件工程
2026-05-07 v1 人机交互
摘要
生成式人工智能（GenAI）在编程中的应用日益广泛，但 GenAI 工具在何时何地能带来生产力提升仍不清楚。关于 GenAI 对编程技能长期发展影响的证据同样褒贬不一。在此，我们提出一项包含 项研究、报告 个效应量的元分析，以量化 GenAI 驱动的编程助手对生产力与学习的影响。我们系统检索了 ACM、arXiv、Scopus 和 Web of Science，以查找 2019 年至 2025 年间发表的研究。研究需使用（1）生产力（即任务完成时间、提交次数和代码行数）和（2）学习（即考试成绩）的定量指标，比较 GenAI 辅助与无辅助的编程。我们使用 RoB2 和 ROBINS-I 评估了偏倚风险，并使用 Hedges' 比较了标准化效应量。我们发现 GenAI 辅助对开发者生产力具有统计学显著但中等的正向影响（， CI：），但在不同环境下存在显著异质性。值得注意的是，在受控实验环境中生产力提升往往更大，而在开源和企业环境中影响较小。相比之下，我们发现 GenAI 辅助对学习成果没有统计学显著影响（， CI：）。总体而言，这些结果表明 GenAI 编程助手可以提高开发者生产力，尽管这些增益在很大程度上取决于环境。然而在教育环境中，GenAI 的使用并未持续转化为学习或技能发展的改善，这凸显了将 GenAI 谨慎融入计算机科学教育的必要性。
引用
@article{arxiv.2605.04779,
title = {A meta-analysis of the effect of generative AI on productivity and learning in programming},
author = {Sebastian Maier and Moritz Gunzenhäuser and Jonas Schweisthal and Manuel Schneider and Stefan Feuerriegel},
journal= {arXiv preprint arXiv:2605.04779},
year = {2026}
}