基于提示优化的高效自动根因分析
软件工程
2025-04-17 v1
摘要
大型云系统的根因分析（RCA）是复杂且知识密集型的任务，常需值班工程师（OCEs）投入大量手动工作。改进RCA对于加速事件解决过程、减少服务停机时间和降低人工 effort至关重要。最近的大型语言模型（LLM）在事件管理生命周期的不同阶段证明了有效的RCA解决方案。然而，现有的LLM-based RCA推荐方法通常采用默认微调或检索增强生成（RAG）方法，采用静态、手动设计的提示，不利于获得次优的推荐。本文利用“PromptWizard”，这是一种领先的提示优化技术，自动识别与推理时查询底层LLM相结合的最佳优化提示指令，并结合语义相似的历史示例。此外，我们利用来自微软的超过18万条历史事件数据，开发了成本效益高的微调小型语言模型（SLMs）用于RCA推荐生成，并展示了提示优化在此类领域适配模型上的优势。我们的广泛实验结果表明，提示优化在3000多个测试事件上相较于基于RAG的LLM和微调SLMs分别提高了21%和13%的准确率。最后，我们通过与事件所有者的人类评估表明，提示优化在RCA推荐任务方面具有有效性。这一发现凸显了将提示优化纳入AI for Operations（AIOps）系统中的优势，无需增加计算开销即可实现显著提升。
引用
@article{arxiv.2504.11505,
title = {eARCO: Efficient Automated Root Cause Analysis with Prompt Optimization},
author = {Drishti Goel and Raghav Magazine and Supriyo Ghosh and Akshay Nambi and Prathamesh Deshpande and Xuchao Zhang and Chetan Bansal and Saravan Rajmohan},
journal= {arXiv preprint arXiv:2504.11505},
year = {2025}
}