面向数据中心遥测监控的近似分位数计算
数据库
2019-10-18 v3
摘要
数据中心系统需要高效故障排查与有效的资源调度，以最小化停机时间并高效利用有限资源。为此，数据中心运营商采用流式分析来收集和处时间窗口上的数据中心遥测数据。分位数算子是这些系统的关键，因为它能概括被监控系统的典型与异常行为。实时计算分位数非常消耗资源，因为它需要在数秒内处理数亿事件并提供高精度。我们通过工作负载驱动的近似克服了实时分位数计算中的这些挑战，其动机来自我们研究中的三点洞察：(i) 数值由一组反复出现的小值主导，(ii) 小值的分布在不同时间尺度上一致，(iii) 尾部值由一小部分大值主导。即，我们提出了 AOMG，一种利用这些洞察的高效且准确的分位数近似算法。AOMG 通过对小值进行压缩和基于频率的概要来最小化分位数算子的内存占用。虽然这些概要以子窗口粒度存储和处理以实现内存效率，但它们可扩展至计算用户定义时间窗口上的分位数。通过对每个子窗口保留少量尾部值，实现了尾部分位数的低数值误差。AOMG 在广泛的用例中以高吞吐量和低于 5% 的相对数值误差估计分位数，而最先进的算法要么具有高相对数值误差（9.3-137.0%），要么提供较低吞吐量（15-92%）。
引用
@article{arxiv.1906.00228,
title = {Approximate Quantiles for Datacenter Telemetry Monitoring},
author = {Gangmuk Lim and Mohamed Hassan and Ze Jin and Stavros Volos and Myeongjae Jeon},
journal= {arXiv preprint arXiv:1906.00228},
year = {2019}
}