ESRO：基于经验辅助的服务中断可靠性保障
软件工程
2023-09-15 v1
摘要
现代云服务的复杂架构使其易于发生故障，因而诊断成为关键流程。站点可靠性工程师（SREs）花费数小时利用多种数据源（包括告警、错误日志以及通过过往经验获得的领域知识）来定位根因。这些经验以自然语言文本形式记录在以往中断的故障报告中。然而，系统性地利用报告中原始而丰富的半结构化信息十分耗时。另一方面，故障诊断中常用的结构化信息（如告警）体量庞大，且需要专家知识来辨别。已有若干策略被提出分别利用各类数据源进行根因分析。本工作中，我们构建了一个名为 ESRO 的诊断服务，通过系统性地利用结构化和半结构化数据源，推荐故障的根因与修复方案。ESRO 使用告警构建因果图，并利用故障报告构建知识图，在训练时以新颖方式合并二者形成统一图。随后采用基于检索的机制搜索统一图，并根据中断时触发的告警对可能根因与修复技术排序。推荐时不仅考虑单个告警，还考虑它们各自在预测一组中断中的重要性。我们在某大型 SaaS 企业约 2 年间的多次云服务中断上评估了模型，与最先进基线相比，将可能根因对照真实值的 rouge 分数平均提升 27%。我们进一步通过对多个真实中断示例的定性分析确立了 ESRO 的有效性。
引用
@article{arxiv.2309.07230,
title = {ESRO: Experience Assisted Service Reliability against Outages},
author = {Sarthak Chakraborty and Shubham Agarwal and Shaddy Garg and Abhimanyu Sethia and Udit Narayan Pandey and Videh Aggarwal and Shiv Saini},
journal= {arXiv preprint arXiv:2309.07230},
year = {2023}
}
备注
Accepted to 38th IEEE/ACM International Conference on Automated Software Engineering (ASE 2023)