利用大语言模型为云事件推荐根因与缓解步骤
软件工程
2023-02-10 v2 机器学习
摘要
云服务的事件管理是一个涉及多个步骤的复杂过程，对服务健康与开发者生产力均有巨大影响。值班工程师需要大量领域知识和人工投入来进行生产事件的根因定位与缓解。人工智能的最新进展催生了诸如GPT-3.x（包括GPT-3.0与GPT-3.5）之类的先进大语言模型（LLM），其已被用于解决从问答到文本摘要的多种问题。本工作中，我们首次开展大规模研究，评估这些模型在协助工程师进行生产事件根因定位与缓解方面的有效性。我们在微软基于超过40,000起事件进行了严谨研究，并在零样本、微调与多任务设定下使用语义与词汇指标比较了若干大语言模型。最后，我们与真实事件负责人的人工评估显示了人工智能用于解决云事件的效力与未来潜力。
引用
@article{arxiv.2301.03797,
title = {Recommending Root-Cause and Mitigation Steps for Cloud Incidents using Large Language Models},
author = {Toufique Ahmed and Supriyo Ghosh and Chetan Bansal and Thomas Zimmermann and Xuchao Zhang and Saravan Rajmohan},
journal= {arXiv preprint arXiv:2301.03797},
year = {2023}
}
备注
Accepted at International Conference on Software Engineering (ICSE-2023)