大规模服务环境中用于根因调查的快速维度分析
分布式、并行与集群计算
2020-04-30 v2 数据库
机器学习
机器学习
摘要
由于跨全球数据中心运行的服务具有复杂性，大规模生产环境中的根因分析颇具挑战。由于大规模系统的分布式特性，各类硬件、软件与工具日志通常分开维护，难以联合审查日志以理解生产问题。审查日志以识别问题的另一挑战在于规模——可能轻易存在数百万实体，每个由数百特征描述。本文提出一种快速维度分析框架，可对结构化日志自动执行根因分析并改进可扩展性。我们首先探索项集（即特征值的组合），其可利用 Apriori 算法及后续改进 FP-Growth 识别具有足够目标失败支持度的样本组。这些算法专为事务数据库上的频繁项集挖掘与关联规则学习而设计。将其应用于结构化日志后，基于提升度选取对目标失败最具独特性的项集。我们提出利用大规模实时数据库的预处理步骤及后处理技术与并行化，以进一步加速分析并提升可解释性，并证明此类优化对于处理大规模生产数据集是必要的。我们已成功在大规模基础设施中部署该方法用于根因调查。本文还给出了多个生产用例的设置与结果。
引用
@article{arxiv.1911.01225,
title = {Fast Dimensional Analysis for Root Cause Investigation in a Large-Scale Service Environment},
author = {Fred Lin and Keyur Muzumdar and Nikolay Pavlovich Laptev and Mihai-Valentin Curelea and Seunghak Lee and Sriram Sankar},
journal= {arXiv preprint arXiv:1911.01225},
year = {2020}
}
备注
13 pages