面向大数据集的拟合优度检验
应用统计
2018-10-24 v1 统计计算
摘要
如今，大数据世界中的数据分析通常关联于数据挖掘、描述性或探索性统计，例如聚类分析、分类或回归分析。除这些技术外，还有一大片推断统计方法领域很少在大数据背景下被考虑。然而，推断方法对大数据分析同样有用，尤其用于量化不确定性。本文针对大数据领域中推断方法的方法论与技术问题提供一些见解，以将大数据与推断统计结合起来，尽管其中存在困难。我们提出一种无需模型假设且依赖经验分布的拟合优度检验方法。特别地，该方法能够利用来自大数据集的信息。据此，该方法基于清晰的理论背景。我们聚焦于广泛使用的、用于统计中拟合优度检验的 Kolmogorov-Smirnov 检验。我们的方法易于并行化，这使其特别适用于分布式数据集，尤其是在计算集群上。通过此文，我们面向对技术和方法论背景感兴趣、尤其是使用如 Spark 等大数据工具实现推断统计方法的读者。
引用
@article{arxiv.1810.09753,
title = {Goodness-of-Fit Tests for Large Datasets},
author = {Taras Lazariv and Christoph Lehmann},
journal= {arXiv preprint arXiv:1810.09753},
year = {2018}
}