基于LLM的文件级日志自动生成：以GPT-4o Mini为案例
软件工程
2025-08-08 v1 人工智能
机器学习
摘要
日志是软件开发中必不可少的要素，帮助开发者监控系统行为并辅助调试应用程序。鉴于大语言模型(LLM)在生成自然语言与代码方面的能力，研究者正探索其生成日志语句的潜力。然而，现有工作侧重评估函数级日志，文件级日志生成仍未受到充分探索——尤其在机器学习(ML)应用中，全面日志可提升可靠性。在本研究中，我们以GPT-4o mini为案例，评估其在ML项目文件级日志生成能力。我们收集了包含4,073个至少一个日志语句的171个ML仓库的Python文件。我们识别并移除原始日志，引导LLM为其生成日志，并评估生成日志的位置、日志级别、变量及文本质量，与人类编写的日志进行比较。此外，我们手动分析代表性样本以识别常见模式与挑战。我们发现LLM在63.91%的情况下将日志插入位置与人类一致，但伴随82.66%的高频日志率。进一步的手动分析揭示文件级日志的挑战：在函数开头或末尾处过度日志化、大型代码块中日志困难、与项目特定日志规范不一致。尽管LLM在生成完整文件日志方面显示出前景，但这些局限性仍需解决才能实现实际部署。
引用
@article{arxiv.2508.04820,
title = {Automated File-Level Logging Generation for Machine Learning Applications using LLMs: A Case Study using GPT-4o Mini},
author = {Mayra Sofia Ruiz Rodriguez and SayedHassan Khatoonabadi and Emad Shihab},
journal= {arXiv preprint arXiv:2508.04820},
year = {2025}
}