中文

相对误差流式分位数

数据结构与算法 2023-08-25 v4

摘要

在流数据上估计秩、分位数和分布是数据分析和监控中的核心任务。给定一个来自具有全序关系的数据全集的 nn 个元素的流,任务是计算一个大小为 nn 的对数多项式的草图(数据结构)。给定该草图和一个查询元素 yy,应能近似其在流中的秩,即流中小于或等于 yy 的元素个数。迄今为止的大多数工作集中于加性 εn\varepsilon n 误差近似,最终以实现最优渐近行为的 KLL 草图达到顶峰。本文研究对秩的乘性 (1±ε)(1\pm\varepsilon) 误差近似。乘性误差的实际动机源于理解分布尾部的需求,因此要求草图在极值附近具有更高的精度。先前工作中空间效率最高的算法要么存储 O(log(ε2n)/ε2)O(\log(\varepsilon^2 n)/\varepsilon^2),要么存储 O(log3(εn)/ε)O(\log^3(\varepsilon n)/\varepsilon) 个全集元素。我们提出了一种随机化草图,存储 O(log1.5(εn)/ε)O(\log^{1.5}(\varepsilon n)/\varepsilon) 个元素,能以高常数概率 (1±ε)(1\pm\varepsilon) 近似每个全集元素的秩;该空间界限与最优界限相差一个 O(log(εn))O(\sqrt{\log(\varepsilon n)}) 因子。我们的算法不需要预先知道流的长度,并且是完全可合并的,使其适用于并行和分布式计算环境。

关键词

引用

@article{arxiv.2004.01668,
  title  = {Relative Error Streaming Quantiles},
  author = {Graham Cormode and Zohar Karnin and Edo Liberty and Justin Thaler and Pavel Veselý},
  journal= {arXiv preprint arXiv:2004.01668},
  year   = {2023}
}

备注

Final version of the paper to appear in Journal of the ACM. Compared to the previous version, we removed any restrictions on the accuracy parameters in the main result and thoroughly revised the paper. 48 pages, 2 figures