CloudRCA：一种面向云计算平台的根因分析框架
分布式、并行与集群计算
2021-11-09 v1 机器学习
软件工程
信号处理
摘要
随着阿里巴巴业务在全球各行业不断拓展，构成阿里云基础设施的大数据云计算平台的服务质量与可靠性面临更高标准。然而，由于系统架构复杂，这些平台中的根因分析并非易事。本文提出一种称为 CloudRCA 的根因分析框架，该框架利用包括关键性能指标（KPIs）、日志以及拓扑在内的异构多源数据，并通过最先进的异常检测与日志分析技术提取重要特征。所构造的特征随后被用于知识感知层次贝叶斯网络（KHBN）模型，以高精度和高效率推断根因。消融研究与全面的实验对比表明，与现有框架相比，CloudRCA 1）在不同云系统中 f1-score 上持续优于现有方法；2）得益于 KHBN 的层次结构，可处理新型根因；3）在算法配置方面表现更鲁棒；4）在数据和特征规模上扩展性更优。实验还表明，可采用跨平台迁移学习机制将准确率进一步提升 10% 以上。CloudRCA 已集成至阿里云诊断系统，并应用于包括 MaxCompute、Realtime Compute 和 Hologres 在内的三个典型云计算平台。在过去十二个月中，它为站点可靠性工程师（SREs）节省了超过 的故障解决时间，并显著提升了服务可靠性。
引用
@article{arxiv.2111.03753,
title = {CloudRCA: A Root Cause Analysis Framework for Cloud Computing Platforms},
author = {Yingying Zhang and Zhengxiong Guan and Huajie Qian and Leili Xu and Hengbo Liu and Qingsong Wen and Liang Sun and Junwei Jiang and Lunting Fan and Min Ke},
journal= {arXiv preprint arXiv:2111.03753},
year = {2021}
}
备注
Accepted by CIKM 2021; 10 pages, 3 figures, 12 tables