增强提交消息生成的 RAG 框架
软件工程
2024-10-04 v3
摘要
提交消息是软件开发和维护中最重要的文本信息之一。然而，手动编写提交消息却需要大量时间。提交消息生成（CMG）已成为研究热点。最近，几种具备代码能力的预训练语言模型（PLMs）和大语言模型（LLMs）被引入，显示出在代码相关任务上的卓越性能。与此同时，先前的研究探索了利用检索技术进行 CMG，但仍不清楚将先进的检索技术与各种生成模型结合会产生什么效果。本文提出了 REACT，即 REtrieval-Augmented framework for CommiT message generation，用于增强 CMG 任务中不同 PLMs 和 LLMs 的性能。具体地，设计了一个混合检索器，用于检索最相关的代码 diff 和提交消息对作为 exemplar。随后，该检索到的配对通过微调和情境学习被用于指导和增强 CMG 任务。实验结果表明，REACT 在 CMG 任务上显著提升了这些模型的性能，将 CodeT5 的 BLEU 分数提高了最高可达 55%，将 Llama 3 的 BLEU 分数提升 102%，并显著超越所有基线。
引用
@article{arxiv.2406.05514,
title = {RAG-Enhanced Commit Message Generation},
author = {Linghao Zhang and Hongyi Zhang and Chong Wang and Peng Liang},
journal= {arXiv preprint arXiv:2406.05514},
year = {2024}
}
备注
22 pages, 5 images, 6 tables, Manuscript submitted to a journal (2024)