大数据集交集基数的最小方差估计器
数据结构与算法
2016-06-06 v1 数据库
摘要
近年来，人们对开发用于高效处理与查询连续数据流的“流式算法”兴趣日益浓厚。这类算法力求在最小化所需存储与处理时间的同时提供准确结果，代价是输出中存在微小误差。一个备受关注的基本查询是两大数据流的交集大小。该问题出现在诸多不同应用领域，如网络监控、数据库系统、数据集成与信息检索。本文基于最大似然（ML）方法，为该问题开发了一种新算法。我们证明该算法优于所有已知方案，并渐近达到最优方差。
引用
@article{arxiv.1606.00996,
title = {A Minimal Variance Estimator for the Cardinality of Big Data Set Intersection},
author = {Reuven Cohen and Liran Katzir and Aviv Yehezkel},
journal= {arXiv preprint arXiv:1606.00996},
year = {2016}
}