中文

将Greenwald-Khanna流式分位数摘要推广至带权输入

数据结构与算法 2023-03-14 v1

摘要

估计分位数(如中位数或百分位数)是数据挖掘与数据科学中的基本任务。一个(流式)分位数摘要是一种数据结构,能以流式方式处理包含nn个元素集合SS,并在结束时对任意ϕ(0,1]\phi \in (0,1],以至多ε\varepsilon误差返回SS的一个ϕ\phi-分位数,即返回ϕ\phi'-分位数且ϕ=ϕ±ε\phi'=\phi \pm \varepsilon。我们特别关注基于比较的摘要,其仅在全序下比较全域元素,而对全域其余方面完全不可知。已知最优的确定性分位数摘要是已有20年历史的Greenwald-Khanna (GK)摘要,其使用O((1/ε)log(εn))O((1/\varepsilon) \log(\varepsilon n))空间[SIGMOD'01]。该界近期被Cormode与Vesléy [PODS'20]证明为所有确定性基于比较的摘要的最优界。本文研究加权分位数——分位数问题的一种推广,其中每个元素到达时带有一个正整数权重,表示插入该元素的副本数。已知通过GK摘要处理带权输入的唯一方法是朴素方法:将每个带权元素拆分为多个无权重项并逐项输入摘要,这导致极大的更新时间(与输入元素的最大权重成正比)。我们给出首个针对带权输入的GK摘要非平凡扩展,并证明其处理长度为nn的流时,每个元素占用O((1/ε)log(εn))O((1/\varepsilon) \log(\varepsilon n))空间与O(log(1/ε)+loglog(εn))O(\log(1/\varepsilon)+ \log \log(\varepsilon n))更新时间(在关于权重范围与ε\varepsilon的某些相当温和的假设下)。在此过程中,我们也简化了原始的针对无权重分位数的GK摘要。

关键词

引用

@article{arxiv.2303.06288,
  title  = {Generalizing Greenwald-Khanna Streaming Quantile Summaries for Weighted Inputs},
  author = {Sepehr Assadi and Nirmit Joshi and Milind Prabhu and Vihan Shah},
  journal= {arXiv preprint arXiv:2303.06288},
  year   = {2023}
}

备注

33 pages, 7 figures, International Conference on Database Theory 2023