利用大型语言模型自动化 CI/CD 流水线中的故障管理：SAP HANA 的案例研究
软件工程
2026-02-09 v1
摘要
CI/CD 流水线故障管理的手动执行工作量较大。自动化这一过程并不容易，因为有效故障管理所需的信息是非结构化的，无法被传统程序自动处理。鉴于大型语言模型（LLM）能够处理非结构化数据，先前的研究已显示其在自动化故障管理方面取得了有前景的成果。遵循这些研究，我们评估了基于 LLM 的系统是否能够在一个大型工业软件项目——SAP HANA 的上下文中自动化 CI/CD 流水线中的故障管理。我们评估了基于 LLM 的系统在识别错误位置和提出无冗余动作的精确解决方案方面的能力。为支持 LLM 生成精确解决方案，我们为其提供了不同类型的领域知识，包括流水线信息、故障管理指令以及历史故障数据。我们进行了一次消除研究，以确定哪种类型的领域知识对解决方案准确率贡献最大。结果表明，历史故障数据对系统准确率贡献最大，使其在我们的数据集中以 92.1% 的准确率产生精确解决方案。当提供领域知识时，系统以 97.4% 的准确率正确识别了错误位置，而在没有领域知识时仅为 84.2%。总之，我们的发现表明，仅当提供历史故障数据时，大型语言模型代表了自动化 CI/CD 流水线故障管理的有前景的方法。
引用
@article{arxiv.2602.06709,
title = {Using Large Language Models to Support Automation of Failure Management in CI/CD Pipelines: A Case Study in SAP HANA},
author = {Duong Bui and Stefan Grintz and Alexander Berndt and Thomas Bach},
journal= {arXiv preprint arXiv:2602.06709},
year = {2026}
}
备注
Accepted for publication in the proceedings of SANER 2026