AI 工具对 ANZ 银行工程实践的影响：企业环境中 GitHub Copilot 的实证研究
软件工程
2024-04-18 v2 人工智能
摘要
人工智能（AI），特别是大语言模型（LLM）的日益普及，显著影响了包括软件工程在内的各个领域。本研究探讨了大型组织内软件工程实践中 AI 工具的整合情况。我们聚焦于 ANZ 银行，该银行拥有超过 5000 名工程师，涵盖软件开发生命周期的各个方面。本文详细介绍了一项在受控环境中使用著名 AI 工具 GitHub Copilot 进行的实验，以评估其在现实工程任务中的有效性。此外，本文分享了 GitHub Copilot 大规模采用后观察到的生产力提升的初步发现，约有 1000 名工程师使用该工具。ANZ 银行为期六周的 GitHub Copilot 实验包括两周的准备期和四周的活跃测试期。该研究评估了参与者的情感倾向以及该工具对生产力、代码质量和安全性的影响。最初，参与者针对提议的用例使用 GitHub Copilot，并通过定期调查收集他们的反馈。在第二阶段，他们被分为控制组和 Copilot 组，各自解决相同的 Python 挑战，并再次对其经验进行调查。结果显示，GitHub Copilot 显著提升了生产力和代码质量，但其对代码安全性的影响尚无定论。参与者的回应总体上是积极的，证实了 GitHub Copilot 在大规模软件工程环境中的有效性。来自 1000 名工程师的早期数据也表明，生产力和工作满意度显著提高。
引用
@article{arxiv.2402.05636,
title = {The Impact of AI Tool on Engineering at ANZ Bank An Empirical Study on GitHub Copilot within Corporate Environment},
author = {Sayan Chatterjee and Ching Louis Liu and Gareth Rowland and Tim Hogarth},
journal= {arXiv preprint arXiv:2402.05636},
year = {2024}
}
备注
16 pages, 4 figures. in proceeding for 10th International Conference on Software Engineering (SEC 2024)