理论与实践的相遇：相对误差分位数算法的最坏情况比较
数据结构与算法
2021-06-11 v2 统计计算
摘要
估计数据的分布与分位数是数据挖掘和数据科学中的基础性任务。我们研究那些利用少量空间即可为极端分位数查询提供准确结果的算法，从而有助于理解输入分布的尾部。具体而言，我们聚焦于两种近期最先进的方案：-digest 和 ReqSketch。虽然 -digest 是一种在多种场景下表现良好的流行紧凑摘要，但 ReqSketch 带有形式化精度保证，代价是其大小随新观测的插入而增长。在本工作中，我们深入分析了何种条件使其中一种优于另一种。即，我们展示了如何为 -digest 构造引发几乎任意大误差的输入，并证明即使在高度非均匀分布的独立同分布样本上，它也未能提供准确结果。我们提出了对 ReqSketch 的实用改进，使其比 -digest 更快，同时其误差在任何实例上均有界。尽管如此，我们的结果证实 -digest$ 在实践遇到的“非对抗性”数据上仍更为准确。
引用
@article{arxiv.2102.09299,
title = {Theory meets Practice at the Median: a worst case comparison of relative error quantile algorithms},
author = {Graham Cormode and Abhinav Mishra and Joseph Ross and Pavel Veselý},
journal= {arXiv preprint arXiv:2102.09299},
year = {2021}
}
备注
Updated experiments, improved presentation. To appear in KDD 2021