衡量2025年初AI对有经验的开源开发者生产力的影响

尽管AI工具在实际应用中广泛采用，但AI工具对软件开发实际影响仍未得到充分研究。我们进行了随机对照试验(RCT)，以了解2025年2月至6月处于前沿的AI工具如何影响有经验的开源开发者生产力。16名具有中等AI经验的开发者完成246项在其上有平均5年 prior 经验的成熟项目上的任务。每个任务随机分配，以允许或不允许使用早期AI工具。当允许使用AI工具时，开发者主要使用Cursor Pro等热门代码编辑器以及Claude 3.5/3.7 Sonnet。在开始任务之前，开发者预测允许使用AI会减少完成时间的24%。任务完成后，开发者估计允许使用AI减少了完成时间的20%。令人惊讶的是，我们发现允许使用AI实际上会增加完成时间的19%——AI工具使开发者 productivity 下降。这种减慢也与经济学专家(预测为39%更短)和ML专家(预测为38%更短)的预测相矛盾。为了理解这一结果，我们收集并评估了20项可能 contribute to 观察到的减慢效应的属性——例如项目的规模和质量标准，或开发者对AI工具的 prior 经验。尽管实验 artifact 的影响无法完全排除，但减慢效应在我们的分析中保持稳健性，这表明它很可能主要是我们的实验设计造成的。