OmniLLP：基于上下文感知检索增强的 LLM 日志级别预测
软件工程
2025-08-13 v1 人工智能
摘要
开发人员会在源代码中插入日志语句，以捕获对维护和调试活动所必需的相关运行时信息。日志级别选择是日志活动中一个集成且棘手的部分，因为它控制日志的详细程度，从而影响系统的可观测性和性能。最近的基于机器学习的日志级别预测方法已利用大型语言模型（LLMs）提出了各种日志级别预测器（LLPs），并显示出令人期待的性能改进（AUC 在 0.64 到 0.8 之间）。然而，当前基于 LLM 的 LLPs 依赖于随机选择的 in-context 示例，忽略了现代软件项目中日志实践的结构和多样性。在本文中，我们提出一种新的 LLP 增强框架 OmniLLP，通过对源文件进行聚类（1）反映代码功能目的的语义相似性，和（2）开发人员所有权内聚性。通过仅从这些语义和所有权感知聚类中检索 in-context 学习示例，我们旨在为 LLPs 提供更连贯的提示，从而提高其预测准确性。我们的结果表明，语义和所有权感知聚类均显著提高了所评估的基于 LLM 的 LLPs 的准确性（相对于随机预测器提升了最高 8% 的 AUC，即利用来自整个项目中随机选择的 in-context 示例）。此外，我们的方法结合语义和所有权信号进行 in-context 预测，实现了 0.88 到 0.96 的惊人 AUC 范围。我们发现，整合软件工程特定的上下文，如代码语义和开发人员所有权信号到 LLM-LLPs 中，具有价值，为开发人员提供一种更准确、更具上下文感知的方式进行日志记录，从而提升系统的可维护性和可观测性。
引用
@article{arxiv.2508.08545,
title = {OmniLLP: Enhancing LLM-based Log Level Prediction with Context-Aware Retrieval},
author = {Youssef Esseddiq Ouatiti and Mohammed Sayagh and Bram Adams and Ahmed E. Hassan},
journal= {arXiv preprint arXiv:2508.08545},
year = {2025}
}