使用大语言模型生成提交信息：一项初步研究
软件工程
2024-01-17 v2
摘要
提交信息是对一次提交中代码变更的文本描述，是 Git 版本控制系统（VCS）的关键组成部分。它捕捉了软件更新的本质，因此可以帮助开发者理解代码演化，并促进开发者之间的高效协作。然而，编写良好且有价值的提交信息耗时且费力。一些研究者已对提交信息的自动生成进行了广泛研究，并为此提出了若干方法，例如基于生成和基于检索的模型。然而，很少有研究探讨大语言模型（LLMs）能否被用于自动且有效地生成提交信息。为此，本文设计并进行了一系列实验，以全面评估流行的开源与闭源大语言模型，即 Llama 2 和 ChatGPT，在提交信息生成方面的性能。结果表明，在 BLEU 和 Rouge-L 指标上，大语言模型在某些指标上超越了现有方法，但在其他指标上则有所落后。然而，经过人工评估后，大语言模型显示出优于所有这些现有方法的明显优势。特别是在 366 个样本中的 78% 里，由大语言模型生成的提交信息被人类评估为最佳。这项工作不仅揭示了使用大语言模型生成提交信息的巨大潜力，也探讨了常用评估指标在评价自动生成提交信息质量方面的局限性。
引用
@article{arxiv.2401.05926,
title = {Using Large Language Models for Commit Message Generation: A Preliminary Study},
author = {Linghao Zhang and Jingshu Zhao and Chong Wang and Peng Liang},
journal= {arXiv preprint arXiv:2401.05926},
year = {2024}
}
备注
The 31st IEEE International Conference on Software Analysis, Evolution, and Reengineering (SANER)