测量数据集的独立性

数据流模型代表了一种场景，其中用亚线性内存近似成对或$k$阶独立性具有相当的重要性。在流模型中，联合分布由$k$元组的流给出，目标是测试在整个流上测量的分量之间的相关性。在流模型中，Indyk和McGregor (SODA 08) 最近在测量成对独立性方面给出了令人兴奋的新结果。Indyk和McGregor的方法在流模型中，在联合分布与乘积分布之间的统计距离下提供了$\log{n}$近似。Indyk和McGregor将其主要开放问题留给了改进统计距离度量的$\log n$近似。在本文中，我们解决了Indyk和McGregor提出的关于成对独立性统计距离的主要开放问题，并将该结果推广到任意常数$k$。特别地，我们提出了一种算法，该算法计算由$k$元组流定义的联合分布与乘积分布之间统计距离的$(\epsilon, \delta)$近似。我们的算法需要$O(({1\over \epsilon}\log({nm\over \delta}))^{(30+k)^k})$的内存和单次数据流遍历。