更大并不总是更好：探索小型开源语言模型在日志语句生成中的表现
软件工程
2025-09-05 v3
摘要
开发人员使用日志语句创建记录系统行为并帮助软件维护的日志。因此，高质量的日志记录对于有效的维护至关重要；然而，手动日志记录常常会导致错误和不一致。最近的方法强调使用大型语言模型（LLMs）进行自动化日志语句生成，但这些模型存在隐私和资源问题，阻碍了其在企业环境中的适用性。本文present了首个大规模实证研究，评估小型开源语言模型（SOLMs）用于自动化日志语句生成。我们评估了四个突出的SOLMs，采用各种提示策略和参数高效微调技术，如低秩适应（LoRA）和检索增强生成（RAG）。我们的结果表明，采用LoRA和RAG提示微调的SOLMs，特别是Qwen2.5-coder-14B，在预测日志位置和生成高质量语句方面，优于现有工具和LLM基线，在多样化的代码库中表现出稳健的泛化能力。这些发现突显了SOLMs作为自动化日志记录的隐私保留、高效替代方案。
引用
@article{arxiv.2505.16590,
title = {Larger Is Not Always Better: Exploring Small Open-source Language Models in Logging Statement Generation},
author = {Renyi Zhong and Yichen Li and Guangba Yu and Wenwei Gu and Jinxi Kuang and Yintong Huo and Michael R. Lyu},
journal= {arXiv preprint arXiv:2505.16590},
year = {2025}
}