大语言模型时代的提交信息
软件工程
2024-02-05 v2
摘要
提交信息是对代码库所做更改的说明，存储在版本控制系统中。它们帮助开发者理解不断演进的代码库。然而，编写提交信息可能很繁琐，且不同开发者之间往往不一致。为了解决这一问题，研究人员尝试使用不同的方法自动生成提交信息，包括基于规则、基于检索和基于学习的方法。大语言模型的进步为生成提交信息提供了新的可能。在本研究中，我们评估了 OpenAI 的 ChatGPT 基于代码更改生成提交信息的性能。我们将 ChatGPT 获得的结果与之前专门在提交数据上训练过的自动提交信息生成方法进行了比较。我们的目标是评估大型预训练语言模型在多大程度上能够生成在数量和质量上均可接受的提交信息。我们发现 ChatGPT 的性能比以前的自动提交信息生成（ACMG）方法高出几个数量级，并且总体而言，它生成的信息既准确又高质量。我们还对其失败的案例提供了见解和分类。
引用
@article{arxiv.2401.17622,
title = {Commit Messages in the Age of Large Language Models},
author = {Cristina V. Lopes and Vanessa I. Klotzman and Iris Ma and Iftekar Ahmed},
journal= {arXiv preprint arXiv:2401.17622},
year = {2024}
}
备注
Submitted to FSE 23 on Feb 6 2023