中文

DDSketch:一种具有相对误差保证的快速且完全可合并的分位数草图

数据库 2019-08-29 v1 数据结构与算法

摘要

均值和方差等汇总统计量易于为大规模分布式数据流维护,但顺序统计量(即样本分位数)只能被近似汇总。关于维护分位数草图已有大量文献,其重点在于在使用少量内存的同时限制草图的秩误差。遗憾的是,秩误差保证并不能排除任意大的相对误差,而当数据高度偏斜时这在实践中经常发生。鉴于当代大规模系统的分布式特性,分位数草图的另一个关键特性是可合并性,即多个合并的草图必须与对同一数据得到的单个草图一样准确。我们提出了首个具有形式化保证的完全可合并、相对误差分位数草图算法。该草图极快且准确,目前正被 Datadog 大规模使用。

关键词

引用

@article{arxiv.1908.10693,
  title  = {DDSketch: A fast and fully-mergeable quantile sketch with relative-error guarantees},
  author = {Charles Masson and Jee E. Rim and Homin K. Lee},
  journal= {arXiv preprint arXiv:1908.10693},
  year   = {2019}
}

备注

11 pages, 11 figures, VLDB