情境胜过参数：超越专有LLM的提交消息生成
软件工程
2025-07-08 v2
摘要
提交消息使用自然语言描述提交中所做的修改，对于软件的维护和演化至关重要。最近的大型语言模型（LLM）发展导致它们被用于生成高质量的提交消息，例如Omniscient Message Generator（OMG）。该方法采用GPT-4生成最先进的提交消息。然而，像GPT-4这样的专有LLM在编码任务中引发隐私和可持续性 concerns，可能阻碍其工业采纳。鉴于开源LLM在编译器验证等开发人员任务中已取得竞争性能，我们研究它们是否能够生成与OMG相当的提交消息。我们的实验表明，一种开源LLM可以生成与OMG产生的提交消息相当的提交消息。此外，通过一系列情境细化，我们提出了lOcal MessagE GenerAtor（OMEGA），一种CMG方法，采用4位量化的8B开源LLM。OMEGA产生最先进的提交消息，超过GPT-4在从业者偏好中的表现。
关键词
引用
@article{arxiv.2408.02502,
title = {Context Conquers Parameters: Outperforming Proprietary LLM in Commit Message Generation},
author = {Aaron Imani and Iftekhar Ahmed and Mohammad Moshirpour},
journal= {arXiv preprint arXiv:2408.02502},
year = {2025}
}
备注
Accepted in ICSE 2025