SQUAD: 结合草图与采样优于二者各自用于逐项分位数估计
数据结构与算法
2022-01-07 v1
摘要
流监控在许多数据流应用中是基础性的,例如金融数据追踪、安全、异常检测和负载均衡。在这方面,分位数尤其令人关注,因为它们常常捕捉用户的效用。例如,如果视频连接具有高尾延迟,即使平均和中位延迟很低,感知质量也会受损。在这项工作中,我们考虑近似逐项分位数的问题。我们流中的元素是 (ID, 延迟) 元组,我们希望跟踪每个 ID 的延迟分位数。现有的分位数草图是为单一数值流(例如仅包含延迟)设计的。虽然可以为每个 ID 分配一个单独的草图实例,但这可能需要不可行的大量内存。相反,我们考虑在不预先知道重头(最频繁项)的情况下跟踪它们的分位数,这些项通常被认为特别重要。我们首先提出一个简单的采样算法作为基准。然后,我们设计了一种算法,在重头算法的每个条目中增强一个分位数草图, resulting in similar space complexity but with a deterministic error guarantee。最后,我们提出 SQUAD,一种结合采样与草图同时改善渐近空间复杂度的方法。直观上,SQUAD 使用背景采样过程来捕获项的延迟行为,然后再为其分配草图,从而允许我们使用更少的样本和草图。我们的方案经过严格分析,并通过大量仿真证明了我们方法的优越性。
引用
@article{arxiv.2201.01958,
title = {SQUAD: Combining Sketching and Sampling Is Better than Either for Per-item Quantile Estimation},
author = {Rana Shahout and Roy Friedman and Ran Ben Basat},
journal= {arXiv preprint arXiv:2201.01958},
year = {2022}
}