软件开发者与 ChatGPT 的比较：一项实证研究
软件工程
2023-05-26 v2 人工智能
摘要
特别是软件工程 (SE) 任务中自动化的出现已从理论走向现实。大量学术文章记录了人工智能在项目管理和建模、测试与开发等领域成功解决问题。近期的一项创新是引入了 ChatGPT，一种融合机器学习的聊天机器人，被誉为能够分别为开发者和测试者生成编程代码与制定软件测试策略的资源。尽管有推测认为基于 AI 的计算可以提高生产力甚至替代软件开发中的软件工程师，但目前缺乏实证证据来验证这一点。此外，尽管主要焦点在于提高 AI 系统的准确性，非功能性需求包括能源效率、漏洞、公平性（即人类偏见）和安全性经常得不到充分关注。本文认为，综合考虑各种评估标准对软件工程师与基于 AI 的解决方案进行全面比较，对于促进人机协作、增强基于 AI 的方法的可靠性以及理解人类或 AI 的任务适用性至关重要。此外，它有助于有效实施协作工作结构和人在回路流程。本文开展了一项实证研究，在不同评估指标上对比软件工程师与 ChatGPT 等 AI 系统的表现。该实证研究包含一个案例，评估 ChatGPT 生成的代码与开发者产生并上传至 Leetcode 的代码。
引用
@article{arxiv.2305.11837,
title = {Comparing Software Developers with ChatGPT: An Empirical Investigation},
author = {Nathalia Nascimento and Paulo Alencar and Donald Cowan},
journal= {arXiv preprint arXiv:2305.11837},
year = {2023}
}
备注
12 pages