DDSketch:一种具有相对误差保证的快速且完全可合并的分位数草图
数据库
2019-08-29 v1 数据结构与算法
摘要
均值和方差等汇总统计量易于为大规模分布式数据流维护,但顺序统计量(即样本分位数)只能被近似汇总。关于维护分位数草图已有大量文献,其重点在于在使用少量内存的同时限制草图的秩误差。遗憾的是,秩误差保证并不能排除任意大的相对误差,而当数据高度偏斜时这在实践中经常发生。鉴于当代大规模系统的分布式特性,分位数草图的另一个关键特性是可合并性,即多个合并的草图必须与对同一数据得到的单个草图一样准确。我们提出了首个具有形式化保证的完全可合并、相对误差分位数草图算法。该草图极快且准确,目前正被 Datadog 大规模使用。
引用
@article{arxiv.1908.10693,
title = {DDSketch: A fast and fully-mergeable quantile sketch with relative-error guarantees},
author = {Charles Masson and Jee E. Rim and Homin K. Lee},
journal= {arXiv preprint arXiv:1908.10693},
year = {2019}
}
备注
11 pages, 11 figures, VLDB