探索 ChatGPT 在自动化代码优化中的潜力：一项实证研究
软件工程
2023-09-18 v1
摘要
代码审查是确保软件项目质量和可维护性的重要活动。然而，这是一项耗时且容易出错的任务，会显著影响开发过程。最近，前沿语言模型 ChatGPT 在各种自然语言处理任务中展现出令人印象深刻的性能，暗示其在自动化代码审查流程方面的潜力。然而，ChatGPT 在代码审查任务中的表现究竟如何仍不清楚。为填补这一空白，本文开展了首项实证研究，以理解 ChatGPT 在代码审查任务中的能力，特别聚焦于基于给定代码审查的自动化代码优化。为开展研究，我们选取现有基准 CodeReview 并构建了一个新的高质量代码审查数据集。我们使用最先进的代码审查工具 CodeReviewer 作为与 ChatGPT 比较的基线。我们的结果表明，ChatGPT 在代码优化任务中优于 CodeReviewer。具体而言，我们的结果显示，在高质量代码审查数据集上，ChatGPT 分别取得了 22.78 和 76.44 的更高 EM 和 BLEU 分数，而最先进方法仅达到 15.50 和 62.88。我们进一步识别了 ChatGPT 表现不佳的根本原因，并提出了若干缓解这些挑战的策略。我们的研究为 ChatGPT 在自动化代码审查流程中的潜力提供了见解，并突出了潜在的研究方向。
引用
@article{arxiv.2309.08221,
title = {Exploring the Potential of ChatGPT in Automated Code Refinement: An Empirical Study},
author = {Qi Guo and Junming Cao and Xiaofei Xie and Shangqing Liu and Xiaohong Li and Bihuan Chen and Xin Peng},
journal= {arXiv preprint arXiv:2309.08221},
year = {2023}
}