ChatGPT：其在普适软件工程任务中效用的研究
软件工程
2023-05-29 v1 人工智能
机器学习
摘要
ChatGPT（Chat Generative Pre-trained Transformer）是 OpenAI 于 2022 年 11 月 30 日发布的聊天机器人。OpenAI 的 GPT-3 系列大语言模型（large language models）构成了 ChatGPT 的基础。ChatGPT 通过监督学习与强化学习技术进行微调，并因其在多元知识领域条理清晰的回答而广受关注。在本研究中，我们探讨如何利用 ChatGPT 辅助常见的软件工程任务。涵盖软件工程广度的诸多普适任务，如软件需求中的歧义消解、方法名建议、测试用例优先级排序、代码审查、日志摘要，均有可能借助 ChatGPT 完成。本研究使用 ChatGPT 探索了十五项常见软件工程任务。我们将 ChatGPT 的回答与相应的 SOTA（state of the art）输出（若可得）和/或人类专家真值并置并分析。实验表明，对于许多任务，ChatGPT 的表现值得信赖，其回复详尽且常优于人类专家输出或 SOTA 输出。然而，对于少数其他任务，现有形态的 ChatGPT 给出错误答案，因此并不适用于此类任务。
引用
@article{arxiv.2305.16837,
title = {ChatGPT: A Study on its Utility for Ubiquitous Software Engineering Tasks},
author = {Giriprasad Sridhara and Ranjani H. G. and Sourav Mazumdar},
journal= {arXiv preprint arXiv:2305.16837},
year = {2023}
}