方差最优的离线与流式分层随机抽样
数据库
2018-02-21 v3
摘要
分层随机抽样(SRS)是一种基础采样技术，利用小尺寸样本为聚合查询提供准确估计，并已广泛用于近似查询处理。SRS 中的一个关键问题是如何在不同层之间分配目标样本量。虽然 Neyman 分配提供了一种利用该样本最小化估计方差的方案，但其工作前提是假设每个层都充足，即拥有大量可供选择的数据点。这一假设通常可能不成立：一个或多个层可能是有界的，即便总数据量很大，也可能不包含大量数据点。我们首先提出 VOILA，一种即便一个或多个层有界时也能以方差最优方式分配样本量至各层的离线方法。接下来我们考虑持续到达的流式数据上的 SRS。我们给出一个下界：任何用于 SRS 的流式算法在最坏情况下其方差必然与最优值相差 {\Omega}(r) 倍，其中 r 为层数。我们提出 S-VOILA，一种实用的流式 SRS 算法，在其向不同层分配样本量时是局部方差最优的。我们在真实与合成数据上的实验结果表明，VOILA 的方差可比 Neyman 分配显著(1.4 至 50.0 倍)更小。流式算法 S-VOILA 产生的方差通常接近事先获知全部输入的 VOILA。
引用
@article{arxiv.1801.09039,
title = {Variance-Optimal Offline and Streaming Stratified Random Sampling},
author = {Trong Duc Nguyen and Ming-Hung Shih and Divesh Srivastava and Srikanta Tirthapura and Bojian Xu},
journal= {arXiv preprint arXiv:1801.09039},
year = {2018}
}